EP3938710A1 - Optisches erkennen eines garguts - Google Patents

Optisches erkennen eines garguts

Info

Publication number
EP3938710A1
EP3938710A1 EP20710121.3A EP20710121A EP3938710A1 EP 3938710 A1 EP3938710 A1 EP 3938710A1 EP 20710121 A EP20710121 A EP 20710121A EP 3938710 A1 EP3938710 A1 EP 3938710A1
Authority
EP
European Patent Office
Prior art keywords
cooked
light
food
item
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20710121.3A
Other languages
English (en)
French (fr)
Other versions
EP3938710B1 (de
Inventor
Gerald Horst
Daniel Vollmar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3938710A1 publication Critical patent/EP3938710A1/de
Application granted granted Critical
Publication of EP3938710B1 publication Critical patent/EP3938710B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination

Definitions

  • the invention relates to the recognition of food.
  • the invention relates to the recognition of the item to be cooked on the basis of optical scanning.
  • Ingredients for a meal can be cooked on a stove or in an oven; one then speaks of a product to be cooked.
  • the food to be cooked can for example include meat, vegetables or cereals.
  • the food can be scanned optically, for example to determine a degree of cooking.
  • WO 2015/185608 A1 proposes illuminating the food to be cooked using a predetermined light pattern, providing an image of the illuminated food and determining a three-dimensional structure of the food being cooked.
  • DE 10 2013 211 097 A1 relates to a refrigerator, the contents of which can be visually scanned at different times in order to determine a degree of freshness of the contents.
  • a device for recognizing a product to be cooked comprises a first light source which is set up to emit light of a first color onto the product to be cooked; a second light source which is set up to emit light of a second color onto the food to be cooked; a light sensor which is set up to scan images of the item to be cooked in light of the first and second colors; a control device and a processing device.
  • the control device is set up to provide a first image of the item to be cooked while the first light source is activated and the second light source is deactivated; and to provide a second image of the item to be cooked while the first light source is deactivated and the second light source is activated.
  • the processing device is set up to recognize the food to be cooked on the basis of the first and second images.
  • the food to be cooked can in particular comprise a food or ingredients of a food and the described technique can be used during a cooking process of the food.
  • the cooking can be well received in a cooking vessel such as a saucepan, roaster or pan.
  • the cooking vessel can be on a stove or in an oven.
  • the recognition of the food to be cooked can thus be improved and a cooking process can be controlled in an improved manner on the basis of the recognition.
  • the aforementioned light sensor is designed in particular as a camera.
  • the control device can be set up to carry out a method described herein in whole or in part.
  • the control device can comprise a programmable microcomputer or microcontroller.
  • the processing device can comprise a further microcomputer or microcontroller or can be built up integrated with the control device.
  • the method can be in the form of a computer program product with program code means.
  • the computer program product can also be stored on a computer-readable data carrier. Additional features or advantages of the method can be transferred to the device or vice versa.
  • the colors preferably have different distributions of their intensities over the wavelength of the light emitted in each case.
  • a light color only comprises wavelengths of a predetermined range, with the ranges of different colors being able to be disjoint, ie not overlapping one another.
  • intensities of, for example, approximately 10% or approximately 5% of the maximum intensity can also be disregarded.
  • Light that has a perceptible color has a light wave spectrum that essentially only covers part of the visible range. For example, light in which wavelengths of approx. 600 - 680 nm dominate can be seen as red; such, in which practically only wavelengths between 520 and 565 nm occur, as green; and those in which wavelengths dominate in the interval between 460 and 480 nm are perceived as blue by the human visual apparatus. A small proportion of another wavelength range cannot change the color impression significantly.
  • the colors are preferably taken from the set of the basic colors red, green and blue. If more than two light sources are used, it is preferred that at least one pair of light sources have light wave spectra that are disjoint from one another.
  • N light sources can be used, where N> 2, and the light sources are set up to emit light with different colors. Before given, each light source is set up to emit light of a different color. Further preferably, the control device is set up to provide N images, which are each provided with illumination of the food by means of only one of the N light sources; and the processing device is set up to recognize the item to be cooked on the basis of the N images provided.
  • N images provided can isolate optical information in an improved manner, so that the recognition of the item to be cooked can be facilitated or improved.
  • three light sources are provided, one of which is provided for emitting red, green and blue light.
  • the light sources can be comprised of a common lighting device.
  • the lighting device can be set up to mix red, green and blue light on the food to be cooked in order to enable predetermined lighting.
  • the lighting device can in particular be part of a projector which is set up to project a color image onto the food to be cooked. According to the invention, such a projector can be controlled ben for sequential illumination of the food with light of different colors.
  • the projector and the camera can be parts of an interaction device which is set up to recognize a gesture by a user in a projection area.
  • a household appliance can be controlled on the basis of the gesture.
  • the household appliance can be connected to a cooking process of the items to be cooked and can comprise, for example, a stove, an oven or an extraction device.
  • At least one of the light sources can comprise a light-emitting diode.
  • the light-emitting diode can be constructed as a 111-V semiconductor and only emit light of a predetermined wavelength range or a predetermined intensity distribution. The emitted light can thus be better concentrated on an area in which a predetermined Feature of the food is particularly easy to discriminate visually.
  • at least one of the light sources comprises a laser.
  • the laser can in particular be implemented cost-effectively as a laser diode or laser LED.
  • the laser light can comprise a particularly narrow range of wavelengths.
  • the light emitted by the laser can also be coherent, so that a certain feature of the food to be cooked can be optically scanned in an improved manner.
  • At least one of the colors can lie in an infrared range that is invisible to the human eye.
  • the color can be in the near infrared range, which extends approximately from 0.75 to 1.4 pm. This allows additional optical information about the food to be isolated.
  • a dedicated light source for infrared light other than the projector can be provided.
  • the control device is preferably set up to provide a further image of the item to be cooked while several of the light sources are activated, the processing device being set up to recognize the item to be cooked on the additional basis of the further image.
  • the activated light sources together preferably produce essentially white light.
  • the light sources can be activated simultaneously or individually one after the other while the camera exposes a light-sensitive area. Further processing can be further facilitated by taking into account an image that can usually be perceived by a person.
  • a first evaluation can be carried out, on the basis of which the food to be cooked can then be scanned with monochrome light.
  • This first evaluation can also be used to identify several items to be cooked, which are arranged spatially separated from one another on a surface and / or a cooking device.
  • a plurality of items to be cooked separately from one another can also be recognized within an open cooking vessel.
  • the multiple recognized items to be cooked can be scanned together with monochromatic light, the final evaluation taking place individually for each of the items to be cooked.
  • different handling instructions can also be output to a user for each of the recognized items to be cooked.
  • the light sources are set up to each project a colored image onto a surface on which the food to be cooked is located
  • the Control device is set up to illuminate only a predetermined area of the surface in succession by means of the light sources in order to provide the images.
  • the projected images can be divided into individual image points (pixels), which are usually arranged in a matrix. By activating only predetermined pixels, virtually any predetermined area can be illuminated.
  • the colored lighting can be limited to an area of the food that is of interest for the evaluation. A remaining area can be illuminated in another way, for example in white, another predetermined color or by projecting a predetermined image. A user can largely remain unmolested by - for him recognizable - color-changing lighting.
  • the item to be cooked can be recognized and the area determined as a function of the item to be cooked.
  • the food to be cooked can be optically scanned and recognized and, on the basis of the recognition result, an area can be determined which is scanned sequentially by means of different monochrome lights.
  • the first optical scanning can take place, for example, by means of white light or by means of a depth camera which is set up to provide a three-dimensional image of the item to be cooked.
  • the three-dimensional image usually does not initially carry any color information.
  • a method for recognizing a product to be cooked comprises steps of activating a first light source which is set up to emit light of a first color onto the product to be cooked; of deactivating a second light source which is set up to emit light of a second color onto the food; of providing a first image of the item to be cooked in light of the first color; deactivating the first light source and activating the second light source; of providing a second image of the food to be cooked in light of the second color; and recognizing the food on the basis of the first and second images.
  • the method can in particular be carried out by means of a device described herein.
  • an interaction device known per se for example for a hotplate, can carry out the method according to the invention.
  • the interaction device can thus be expanded or upgraded inexpensively according to the invention.
  • two disjoint areas of the food are simultaneously illuminated with light of different colors and two partial images of the areas are provided.
  • the areas can be moved with respect to the food to be cooked, so that the viewer can get the impression of a series of differently colored light bars.
  • the process of optical scanning can thus be displayed to a human observer in an improved manner.
  • a cooking state of the food can be determined on the basis of the images.
  • a coloration or bleaching of the food to be cooked can be scanned and a degree of cooking can be determined on the basis of this.
  • the coloration can be the result of an enzymatic reaction that can be part of the cooking process.
  • the color change can occur due to the Maillard reaction when roasting or deep-frying meat, or due to the caramelization of sugar.
  • the change in color can also indicate an enzymatic reaction, for example if the food to be cooked comprises animal fat, for example in the form of a milk product such as cheese.
  • Actions derived therefrom in the form of instructions to a user and / or control commands to a Garein direction or extractor hood can be output by the control device.
  • FIG. 1 shows an exemplary system with an interaction device
  • FIG. 2 shows a system in a further embodiment
  • FIG. 3 shows a flowchart of an exemplary method for recognizing a cooked item
  • FIG. 4 shows an exemplary representation of a product to be cooked from the point of view of an interaction device
  • FIG. 5 shows different intensity distributions of colored light by way of example.
  • FIG. 1 shows a system 100 with a cooking device 105 and a device 110.
  • the cooking device 105 is preferably set up to provide heat in order to cook a piece of food and can include, for example, a hob or stove.
  • the Device 110 is arranged by way of example over an area 120 into which the cooking device 105 can be let, and comprises a camera 125, a plurality of light sources 130, a control device 135 and a processing device 140.
  • the light sources 130 are set up to illuminate the food 115 each with light in a different color.
  • a first light source 130.1 shines red
  • a second light source 130.2 green shines red
  • a third light source 130.3 blue shines red
  • a fourth light source 130.4 infrared The technique presented herein can also be carried out using other colors and with two or more light sources 130.
  • Two or more of the light sources 130 can be encompassed by a projector 145 which is set up to cast light - in particular a colored image - onto the surface 120.
  • the projector 145 can comprise a light valve 150, which comprises, for example, a matrix of micromirrors in order to guide individual pixels of light onto the surface 120.
  • a pixel is illuminated sufficiently quickly one after the other by means of differently colored light, the colors can mix for a viewer.
  • a light source for white light is provided, from which different colors are successively filtered by means of a color wheel.
  • multiple light sources 130 are each assigned a light valve 150, for example in the form of a liquid crystal element, so that light of different colors is continuously emitted, which can mix on the surface 120.
  • the camera 125 is preferably set up to scan an image in an area that is at least partially illuminated by the light sources 130.
  • the camera 125 is set up to scan an object that is located in an area between the device 110 and the surface 120.
  • the object can include a hand of a user, for example, and a position or gesture of the hand can be detected optically and determined by means of one of the devices 135, 140.
  • the hand can be in context with a projection that is cast onto the surface 120 by means of the projector 145.
  • the position or gesture can be evaluated to control a domestic appliance, in particular the cooking device 105.
  • the projector 145 and the camera 125 can thus together form an interaction device 155.
  • a depth camera 160 can be included in the interaction device 155.
  • the depth camera 160 is set up for optical scanning of an object between it and the surface 120 and can provide distance information provide the object.
  • the depth camera 160 can operate on the basis of a stereoscopic scan.
  • a built-in light source 130 can be set up to emit structured light.
  • the light source 130 can work particularly in the infrared range, so that it can also be used as a light source 130.4 for the device 110.
  • the depth camera 160 operates on the basis of the distance measurement based on the propagation speed of light (TOF: time of flight).
  • TOF propagation speed of light
  • an image provided by the camera 125 can always be recorded while the food to be cooked 115 is illuminated with light of two or more colors. If the light sources 130 work sequentially, so that only one of the light sources 130 is active at a time, a shutter speed of the camera 125 can be one cycle of all colors or longer.
  • the image provided carries color information and can be further processed in this form.
  • the light sources 130 are controlled in such a way that the food 115 is successively illuminated with light of different colors.
  • another image can be created with a mixture of several light colors illuminated. As is customary for the purposes of the interaction device 155, the mixture can complement one another to form white light.
  • a first processing can take place on the basis of an image that was created with multicolored (in particular white) illumination of the item to be cooked 115, which can lead to the determination of an illumination parameter for the sequentially monochrome illumination.
  • a number of different items to be cooked 115 can be recorded and an independent evaluation of the degree of cooking of the individual items to be cooked 115 can be initiated by the processing device 140.
  • the determined degrees of cooking of the different items to be cooked 115 can lead to correspondingly different instructions for a user.
  • the duration over which one of the light sources 130 is activated (and the other light sources 130 are deactivated) can be at least as long as an exposure or shutter time of the camera 125.
  • that can Rotation speed can be controlled accordingly to effect the same effect.
  • the shutter speed of the camera 125 can be reduced for monochrome scanning compared to normal operation in order to meet the stated condition.
  • the images created under different light colors can then be processed by means of the processing device 140, it being possible, in particular, to identify the item to be cooked 115.
  • the detection can in particular include a determination of the item 115 or at least one of its components.
  • a color of the item to be cooked 115 can be determined in at least one area or an item of optically perceptible information that can be important for controlling a cooking process of the item to be cooked 115.
  • the specific information can be made available to the outside via an interface 165.
  • a user can, for example, be informed about the status or progress of the item to be cooked 115, or the cooking device 105 can be controlled as a function of the information. This process can take place in parallel for a number of different items to be cooked 115 which are positioned on the cooking device 105 and / or the surface 120.
  • FIG. 2 shows a system 100 in a further embodiment.
  • the interaction device 155 is, for example, attached to an extractor hood 205 or embodied as an integral part of it.
  • An additional lighting device 210 is preferably set up to emit white light and can illuminate a larger area than the projector 145.
  • no depth camera 160 is provided here.
  • the projector 145 and the camera 125 have optical axes which enclose substantially equal angles with a perpendicular. In other embodiments, the optical axes can also coincide or include other angles with the perpendicular. In general, it is preferred that the optical axes of the projector 145 and the camera 125 enclose the smallest possible angle with one another.
  • FIG. 3 shows a flowchart of an exemplary method for recognizing a product to be cooked 115.
  • the method 300 can in particular be carried out by means of the device 110.
  • N 3 differently colored light sources 130 are assumed.
  • the surface 120 can be scanned. This can be done for example by means of the depth camera 160 or by means of the camera 125 while illuminating the area ok
  • a product to be cooked 115 can be located or which area of the product to be cooked 115 is of particular interest for optical scanning.
  • Several different items to be cooked 115 can also be recorded in this step, which are then optically scanned together and then evaluated separately by the processing device 140.
  • a step 315 the item to be cooked 115 is illuminated one after the other with light from only one of the light sources 130 and an image is simultaneously scanned by means of the camera 125.
  • This step 315 is usually run through as often as differently colored, individually activatable light sources 130 are provided.
  • first light source 130.1 is activated and light sources 130.2 and 130.3 are deactivated, and a first image is scanned under red illumination.
  • the first and third light sources 130.1, 130.3 are deactivated and the second light source 130.2 is activated, and a second image is scanned under green illumination.
  • the first and second light sources 130.1, 130.2 are deactivated and the third light source 130.3 is activated, and a third image is scanned under blue illumination.
  • the lighting can be limited to the area determined in step 310.
  • the lighting can be switched off in a surrounding area, or part of a predetermined display can be output, which is preferably displayed before and / or afterwards on the entire illuminated area.
  • the item to be cooked 115 can be recognized on the basis of the individually created images.
  • one or more images can be added that were created with the illumination of several colored or one white light sources 130, 210. It is preferred that the images used for recognition were acquired close to one another in time in order to avoid a decorrelation of their image contents. For example, all images can come from a time range of no more than a second or less.
  • one of its properties can be determined on the basis of the recognized item to be cooked 115.
  • color information can in particular be evaluated at one or more points on the item to be cooked 115.
  • the color information can be 1 15 can be set for the type of food recognized. For example, the color brown can lead to a different rating for a vegetable than for meat, dough or fruit.
  • a domestic appliance can be controlled, which is in particular related to the cooking process of the item to be cooked 115.
  • This can include the cooking device 105 or the extractor hood 205, for example.
  • the heat supply of the cooking device 105 can be throttled when a desired cooking point is reached, or the extractor hood 205 can be set to a higher level if boiling liquid, rising vapors or smoke is determined in the area of the food 115.
  • FIG. 4 shows an exemplary representation of a product to be cooked 115 from the perspective of an interaction device 155.
  • the product to be cooked 115 is located, for example, in a fermentation container 405, in the present case in a pan.
  • An area 410 is shown on the item to be cooked 115, which is of interest, for example, for assessing a cooking point or a cooking process of the item to be cooked 115.
  • the area 410 can be illuminated selectively one after the other by means of differently colored light while one image is being scanned at a time.
  • the area 410 can also be subdivided into subareas 410.1, 410.2 and 410.3 and the subareas 410.1,
  • 410.2 and 410.3 can be illuminated with different colors at the same time, while a picture is taken each time.
  • the number of sub-areas 410.1, 410.2 and 410.3 can be illuminated with different colors at the same time, while a picture is taken each time.
  • the fermentation container 405 can also have several different items to be cooked, which are recognized accordingly and evaluated individually by the processing device 140.
  • a bar of colored light can be moved across area 410 while an image is being taken. After running through N bars, all the necessary information can be recorded. Different areas of the recorded images can be combined with one another in such a way that three single-color images are created that can be evaluated in the manner described.
  • FIG. 5 shows different intensity distributions of colored light, for example.
  • a first intensity distribution 505 corresponds to red light
  • a second intensity distribution 510 corresponds to green light
  • a third intensity distribution 515 corresponds to blue light
  • a fourth intensity distribution 520 corresponds to infrared light.
  • the intensity distributions have different range limits.
  • a wavelength beyond which the intensity of the intensity distribution 505-520 lies below a predetermined intensity value, for example approx. 10%, preferably approx. 5%, more preferably approx. 2% or even less, can be assumed as the range limit.
  • the intensity distributions 505-520 shown are disjoint in that they do not cover any overlapping areas in pairs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Coloring Foods And Improving Nutritive Qualities (AREA)

Abstract

Eine Vorrichtung zur Erkennung eines Garguts umfasst eine erste Lichtquelle, die zur Aussendung von Licht einer ersten Farbe auf das Gargut eingerichtet ist; eine zweite Lichtquelle, die zur Aussendung von Licht einer zweiten Farbe auf das Gargut eingerichtet ist; einen Lichtsensor, der zur Abtastung von Bildern des Garguts in Licht der ersten und der zweiten Farbe eingerichtet ist; eine Steuervorrichtung und eine Verarbeitungsvorrichtung. Die Steuervorrichtung ist dazu eingerichtet, ein erstes Bild des Garguts bereitzustellen, während die erste Lichtquelle aktiviert und die zweite Lichtquelle deaktiviert ist; und ein zweites Bild des Garguts bereitzustellen, während die erste Lichtquelle deaktiviert und die zweite Lichtquelle aktiviert ist. Die Verarbeitungsvorrichtung ist dazu eingerichtet, das Gargut auf der Basis des ersten und des zweiten Bilds zu erkennen.

Description

Optisches Erkennen eines Garguts
Die Erfindung betrifft das Erkennen eines Garguts. Insbesondere betrifft die Erfindung das Erkennen des Garguts auf der Basis einer optischen Abtastung.
Auf einem Herd oder in einem Ofen können Zutaten einer Speise gegart werden; man spricht dann von einem Gargut. Das Gargut kann beispielsweise Fleisch, Gemüse oder Getreide umfassen. Das Gargut kann optisch abgetastet werden, beispielsweise um einen Gargrad zu bestimmen.
WO 2015/185608 A1 schlägt vor, das Gargut mittels eines vorbestimmten Lichtmusters zu beleuchten, ein Bild des beleuchteten Garguts bereitzustellen und eine dreidimensionale Struktur des Garguts zu bestimmen.
DE 10 2013 211 097 A1 betrifft einen Kühlschrank, dessen Inhalt zu unterschiedlichen Zeiten bildlich abgetastet werden kann, um einen Frischegrad des Inhalts zu bestimmen.
Bekannte Techniken erlauben jedoch nur eine begrenzt aussagekräftige Analyse eines Garguts. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur optischen Abtastung eines Garguts. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprü che geben bevorzugte Ausführungsformen wieder.
Eine Vorrichtung zur Erkennung eines Garguts umfasst eine erste Lichtquelle, die zur Aussendung von Licht einer ersten Farbe auf das Gargut eingerichtet ist; eine zweite Lichtquelle, die zur Aussendung von Licht einer zweiten Farbe auf das Gargut eingerichtet ist; einen Lichtsensor, der zur Abtastung von Bildern des Garguts in Licht der ersten und der zweiten Farbe eingerichtet ist; eine Steuervorrichtung und eine Verarbeitungsvorrich tung. Die Steuervorrichtung ist dazu eingerichtet, ein erstes Bild des Garguts bereitzustel len, während die erste Lichtquelle aktiviert und die zweite Lichtquelle deaktiviert ist; und ein zweites Bild des Garguts bereitzustellen, während die erste Lichtquelle deaktiviert und die zweite Lichtquelle aktiviert ist. Die Verarbeitungsvorrichtung ist dazu eingerichtet, das Gargut auf der Basis des ersten und des zweiten Bilds zu erkennen. Durch die Beleuchtung des Garguts mit farbigem Licht, also Licht eines gegenüber wei ßem Licht eingeschränkten Lichtwellenspektrums, können Bilder bereitgestellt werden, die bestimmte Aspekte des Garguts besonders gut erkennbar machen. Das Gargut kann ins besondere eine Speise oder Zutaten einer Speise umfassen und die geschilderte Technik kann während eines Garvorgangs des Garguts angewandt werden. Dazu kann das Gar gut in einem Gargefäß wie einem Topf, einem Bräter oder einer Pfanne aufgenommen sein. Das Gargefäß kann sich auf einem Herd oder in einem Ofen befinden. Die Erken nung des Garguts kann so verbessert sein und ein Garprozess kann auf der Basis der Erkennung verbessert gesteuert werden. Der vorgenannte Lichtsensor ist dabei insbe sondere als Kamera ausgebildet.
Die Steuervorrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Steuervorrichtung einen programmierba ren Mikrocomputer oder Mikrocontroller umfassen. Die Verarbeitungsvorrichtung kann einen weiteren Mikrocomputer oder Mikrocontroller umfassen oder mit der Steuervorrich tung integriert aufgebaut sein. Das Verfahren kann in Form eines Computerprogramm produkts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
Die Farben weisen bevorzugt unterschiedliche Verteilungen ihrer Intensitäten über die Wellenlänge des jeweils ausgesandten Lichts auf. In einer Ausführungsform umfasst eine Lichtfarbe nur Wellenlängen eines vorbestimmten Bereichs, wobei die Bereiche unter schiedlicher Farben disjunkt sein können, einander also nicht überlappen. Eine geringe Überlappung bei Intensitäten von beispielsweise ca. 10% oder ca. 5% der Maximalintensi tät können auch unberücksichtigt bleiben.
Licht, das eine wahrnehmbare Farbe aufweist, hat ein Lichtwellenspektrum, das im We sentlichen nur einen Teil des sichtbaren Bereichs abdeckt. Beispielsweise kann Licht, in dem Wellenlängen von ca. 600 - 680 nm dominieren, als Rot; solches, in dem praktisch nur Wellenlängen zwischen 520 und 565 nm Vorkommen, als Grün; und solches, bei dem Wellenlängen im Intervall zwischen 460 und 480 nm dominieren, vom menschlichen Sehapparat als Blau wahrgenommen werden. Ein geringer Anteil eines anderen Wellen längenbereichs kann den Farbeindruck nicht entscheidend verändern. Die Farben sind bevorzugt aus der Menge der Grundfarben Rot, Grün und Blau entnom men. Werden mehr als zwei Lichtquellen verwendet, so ist bevorzugt, dass wenigstens ein Paar von Lichtquellen zueinander disjunkte Lichtwellenspektren aufweisen.
Insbesondere können N Lichtquellen verwendet werden, wobei N > 2 ist, und die Licht quellen sind zur Aussendung von Licht mit unterschiedlichen Farben eingerichtet. Bevor zugt ist jede Lichtquelle zur Aussendung von Licht einer anderen Farbe eingerichtet. Wei ter bevorzugt ist die Steuervorrichtung zur Bereitstellung von N Bildern eingerichtet, die jeweils unter Beleuchtung des Garguts mittels nur einer der N Lichtquellen bereitgestellt sind; und die Verarbeitungsvorrichtung ist zur Erkennung des Garguts auf der Basis der N bereitgestellten Bilder eingerichtet.
Dadurch können mehr selektive Farbaufnahmen des Garguts bereitgestellt werden, so- dass bestimmte Eigenschaften oder kochchemische Effekte verbessert optisch erkannt werden können. Die bereitgestellten N Bilder können optische Informationen verbessert isolieren, sodass die Erkennung des Garguts erleichtert oder verbessert werden kann.
In einer besonders bevorzugten Ausführungsform sind drei Lichtquellen vorgesehen, von denen jeweils eine zur Aussendung von rotem, grünem und blauem Licht vorgesehen ist. Die Lichtquellen können von einer gemeinsamen Beleuchtungseinrichtung umfasst sein. Die Beleuchtungseinrichtung kann dazu eingerichtet sein, rotes, grünes und blaues Licht auf dem Gargut zusammenzumischen, um eine vorbestimmte Beleuchtung zu ermögli chen. Die Beleuchtungseinrichtung kann insbesondere Teil eines Projektors sein, der da zu eingerichtet ist, ein Farbbild auf das Gargut zu werfen. Erfindungsgemäß kann ein sol cher Projektor zur sequentiellen Beleuchtung des Garguts mit Licht unterschiedlicher Far ben angesteuert werden. Der Projektor und die Kamera können Teile einer Interaktions einrichtung sein, die dazu eingerichtet ist, eine Geste eines Benutzers in einem Projekti onsbereich zu erkennen. Auf der Basis der Geste kann ein Haushaltsgerät gesteuert wer den. Das Haushaltsgerät kann mit einem Garprozess der Garguts verbunden sein und beispielsweise einen Herd, einen Ofen oder eine Abzugseinrichtung umfassen.
Wenigstens eine der Lichtquellen kann eine Leuchtdiode umfassen. Die Leuchtdiode kann als 111-V-Halbleiter aufgebaut sein und nur Licht eines vorbestimmten Wellenlängenbe reichs bzw. einer vorbestimmten Intensitätsverteilung aussenden. Das ausgesandte Licht kann so verbessert auf einen Bereich konzentriert werden, in dem ein vorbestimmtes Merkmal des Garguts besonders gut optisch zu diskriminieren ist. In einer besonders be vorzugten Ausführungsform umfasst wenigstens eine der Lichtquellen einen Laser. Der Laser kann insbesondere kostengünstig als Laserdiode oder Laser-LED realisiert sein.
Das Laserlicht kann einen besonders schmalen Bereich von Wellenlängen umfassen. Das durch den Laser ausgesandte Licht kann außerdem kohärent sein, sodass eine bestimm tes Merkmal des Garguts verbessert optisch abgetastet werden kann.
Wenigstens eine der Farben kann in einem für das menschliche Auge unsichtbaren Infra rotbereich liegen. Insbesondere kann die Farbe im nahen Infrarotbereich liegen, der sich ungefähr von 0,75 bis 1.4 pm erstreckt. Dadurch kann zusätzliche optische Information des Garguts isoliert werden. Im Fall der oben beschriebenen Interaktionseinrichtung kann eine vom Projektor verschiedene dedizierte Lichtquelle für infrarotes Licht vorgesehen sein.
Die Steuervorrichtung ist bevorzugt dazu eingerichtet, ein weiteres Bild des Garguts be reitzustellen, während mehrere der Lichtquellen aktiviert sind, wobei die Verarbeitungsvor richtung dazu eingerichtet ist, das Gargut auf der zusätzlichen Basis des weiteren Bilds zu erkennen. Die aktivierten Lichtquellen ergeben zusammen bevorzugt im Wesentlichen weißes Licht. Die Lichtquellen können gleichzeitig oder einzeln nacheinander aktiviert werden, während die Kamera einen lichtempfindlichen Bereich belichtet. Durch das Be rücksichtigen eines üblicherweise durch eine Person wahrnehmbaren Bilds kann die Wei terverarbeitung weiter erleichtert sein. In einer Ausführungsform kann unter der Beleuch tung mit Licht mehrerer Farben (insbesondere mit weißem Licht) eine erste Auswertung erfolgen, auf deren Basis dann eine Abtastung des Garguts mit einfarbigem Licht gesteu ert werden kann. Durch diese erste Auswertung können auch mehrere Gargüter erkannt werden, die örtlich voneinander getrennt auf einer Fläche und/oder einer Gareinrichtung angeordnet sind. Ebenso können mehrere voneinander getrennt angeordnete Gargüter innerhalb eines offenen Gargefäßes erkannt werden. Die mehreren erkannten Gargüter können gemeinsam mit einfarbigem Licht abgetastet werden, wobei die finale Auswertung für jedes der Gargüter einzeln erfolgt. Entsprechend können auch für jedes der erkannten Gargüter unterschiedliche Handlungsanweisungen an einen Benutzer ausgegeben wer den.
In einer weiteren Ausführungsform sind die Lichtquellen dazu eingerichtet, jeweils ein far biges Bild auf eine Oberfläche zu projizieren, auf der sich das Gargut befindet, wobei die Steuervorrichtung dazu eingerichtet ist, nur einen vorbestimmten Bereich der Oberfläche nacheinander mittels der Lichtquellen zu beleuchten, um die Bilder bereitzustellen. Die projizierten Bilder können in einzelne Bildpunkte (Pixel) unterteilt sein, die üblicherweise matrixartig angeordnet sind. Durch Aktivieren nur vorbestimmter Bildpunkte kann ein prak tisch beliebiger vorbestimmter Bereich beleuchtet werden. So kann die farbige Beleuch tung beispielsweise auf einen Bereich des Garguts beschränkt werden, der für die Aus wertung von Interesse ist. Ein verbleibender Bereich kann auf andere Weise beleuchtet werden, beispielsweise in Weiß, einer anderen vorbestimmten Farbe oder durch Projekti on eines vorbestimmten Bildes. Ein Benutzer kann von einer - für ihn erkennbaren - farb lich wechselnden Beleuchtung weitgehend unbehelligt bleiben.
Insbesondere können das Gargut erkannt und der Bereich in Abhängigkeit des erkannten Garguts bestimmt werden. Anders ausgedrückt kann das Gargut optisch abgetastet und erkannt werden und auf der Basis des Erkennungsergebnisses kann ein Bereich bestimmt werden, der sequentiell mittels verschiedenen einfarbigen Lichtern abgetastet wird. Das erste optische Abtasten kann beispielsweise mittels weißen Lichts erfolgen oder mittels einer Tiefenkamera durchgeführt werden, die dazu eingerichtet ist, ein dreidimensionales Bild des Garguts bereitzustellen. Das dreidimensionale Bild trägt üblicherweise zunächst keine Farbinformation.
Nach einem zweiten Aspekt der Erfindung umfasst ein Verfahren zum Erkennen eines Garguts Schritte des Aktivierens einer ersten Lichtquelle, die zur Aussendung von Licht einer ersten Farbe auf das Gargut eingerichtet ist; des Deaktivierens einer zweiten Licht quelle, die zur Aussendung von Licht einer zweiten Farbe auf das Gargut eingerichtet ist; des Bereitstellens eines ersten Bilds des Garguts in Licht der ersten Farbe; des Deaktivie rens der ersten Lichtquelle und Aktivieren der zweiten Lichtquelle; des Bereitstellens ei nes zweiten Bilds des Garguts in Licht der zweiten Farbe; und des Erkennens des Gar guts auf der Basis des ersten und des zweiten Bilds.
Das Verfahren kann insbesondere mittels einer hierin beschriebenen Vorrichtung ausge führt werden. In einer Ausführungsform kann eine an sich bekannte Interaktionseinrich tung, beispielsweise für eine Kochstelle, das erfindungsgemäße Verfahren ausführen. Die Interaktionseinrichtung kann so kostengünstig erfindungsgemäß ausgebaut oder nachge rüstet werden. In einer weiteren Ausführungsform werden gleichzeitig zwei disjunkte Bereiche des Gar guts mit Licht unterschiedlicher Farben beleuchtet und zwei Teilbilder der Bereiche bereit gestellt. Die Bereiche können bezüglich des Garguts bewegt werden, sodass sich für ei nen Betrachter der Eindruck einer Serie von unterschiedlich gefärbten Lichtbalken erge ben kann. Der Vorgang des optischen Abtastens kann so einem menschlichen Betrachter verbessert angezeigt werden.
Auf der Basis der Bilder kann ein Garzustand des Garguts bestimmt werden. Insbesonde re können eine Färbung oder Bleichung des Garguts abgetastet und auf deren Basis ein Gargrad bestimmt werden. Die Färbung kann Ergebnis einer enzymatischen Reaktion sein, die Teil des Garprozesses sein kann. Die Farbänderung kann etwa aufgrund der Maillard Reaktion beim Braten oder Frittieren von Fleisch auftreten, oder aufgrund eines Karamellisierens von Zucker. Die Farbänderung kann auch auf eine enzymatische Reak tion hinweisen, beispielsweise falls das Gargut tierisches Fett umfasst, beispielsweise in Form eines Milchprodukts wie Käse. Entsprechend daraus abgeleitete Aktionen in Form von Handlungsanweisungen an einen Benutzer und/oder Steuerbefehle an eine Garein richtung oder Dunstabzugshaube können durch die Steuervorrichtung ausgegeben wer den.
Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:
Figur 1 ein beispielhaftes System mit einer Interaktionseinrichtung;
Figur 2 ein System in einer weiteren Ausführungsform;
Figur 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zum Erkennen eines Gar guts;
Figur 4 eine exemplarische Darstellung eines Garguts aus der Sicht einer Interaktions einrichtung; und
Figur 5 unterschiedliche Intensitätsverteilungen von beispielhaft farbigem Licht darstellt.
Figur 1 zeigt ein System 100 mit einer Gareinrichtung 105 und einer Vorrichtung 110. Die Gareinrichtung 105 ist bevorzugt zur Bereitstellung von Wärme eingerichtet, um ein Gar gut 1 15 zu garen, und kann beispielsweise ein Kochfeld oder einen Herd umfassen. Die Vorrichtung 1 10 ist beispielhaft über einer Fläche 120 eingeordnet, in welche die Garein richtung 105 eingelassen sein kann, und umfasst eine Kamera 125, mehrere Lichtquellen 130, eine Steuervorrichtung 135 und eine Verarbeitungsvorrichtung 140.
Die Lichtquellen 130 sind dazu eingerichtet, das Gargut 1 15 jeweils mit Licht in einer an deren Farbe zu beleuchten. Exemplarisch leuchtet eine erste Lichtquelle 130.1 Rot, eine zweite Lichtquelle 130.2 Grün, eine dritte Lichtquelle 130.3 Blau und eine vierte Lichtquel le 130.4 Infrarot. Die hierin vorgestellte Technik kann auch mittels anderer Farben und mit zwei oder mehr Lichtquellen 130 durchgeführt werden. Zwei oder mehr der Lichtquellen 130 können von einem Projektor 145 umfasst sein, der dazu eingerichtet ist, Licht - insbe sondere ein farbiges Bild - auf die Fläche 120 zu werfen. Dazu kann der Projektor 145 ein Lichtventil 150 umfassen, das beispielsweise eine Matrix von Mikrospiegeln umfasst, um einzelne Bildpunkte von Licht auf die Fläche 120 zu leiten. Wird ein Bildpunkt ausreichend schnell nacheinander mittels unterschiedlich farbigen Lichts beleuchtet, können sich die Farben für einen Betrachter mischen. In einer anderen Ausführungsform ist eine Licht quelle für weißes Licht vorgesehen, von dem mittels eines Farbrads nacheinander unter schiedliche Farben gefiltert werden. In noch einer anderen Ausführungsform ist mehreren Lichtquellen 130 jeweils ein Lichtventil 150 zugeordnet, beispielsweise in Form eines Flüssigkristall-Elements, sodass kontinuierlich Licht verschiedener Farben ausgesandt wird, das sich auf der Fläche 120 mischen kann.
Die Kamera 125 ist bevorzugt dazu eingerichtet, ein Bild in einem Bereich abzutasten, der wenigstens teilweise durch die Lichtquellen 130 beleuchtet wird. In einer Ausführungsform ist die Kamera 125 zur Abtastung eines Objekts eingerichtet, das sich in einem Bereich zwischen der Vorrichtung 110 und der Fläche 120 befindet. Das Objekt kann etwa eine Hand eines Benutzers umfassen und eine Stellung oder Geste der Hand kann optisch erfasst und mittels einer der Vorrichtungen 135, 140 bestimmt werden. Die Hand kann in Kontext zu einer Projektion stehen, die mittels des Projektors 145 auf die Fläche 120 ge worfen wird. Die Stellung oder Geste kann zur Steuerung eines Hausgeräts, insbesondere der Gareinrichtung 105, ausgewertet werden. So können der Projektor 145 und die Kame ra 125 zusammen eine Interaktionseinrichtung 155 bilden.
In einer weiteren Ausführungsform kann eine Tiefenkamera 160 von der Interaktionsein richtung 155 umfasst sein. Die Tiefenkamera 160 ist zur optischen Abtastung eines Ob jekts zwischen ihr und der Fläche 120 eingerichtet und kann Abstandsinformationen zu dem Objekt bereitstellen. Die Tiefenkamera 160 kann auf der Basis einer stereoskopi schen Abtastung arbeiten. Eine eingebaute Lichtquelle 130 kann zur Aussendung struktu rierten Lichts eingerichtet sein. Die Lichtquelle 130 kann insbesondere im infraroten Be reich arbeiten, sodass sie auch als Lichtquelle 130.4 für die Vorrichtung 110 verwendet werden kann. In einer anderen Ausführungsform arbeitet die Tiefenkamera 160 auf der Basis der Entfernungsmessung aufgrund der Ausbreitungsgeschwindigkeit von Licht (TOF: time of flight).
Für die Zwecke der Interaktionseinrichtung 155 kann ein durch die Kamera 125 bereitge stelltes Bild stets aufgezeichnet werden, während das Gargut 115 mit Licht von zwei oder mehr Farben beleuchtet wird. Arbeiten die Lichtquellen 130 sequenziell, sodass zu einem Zeitpunkt nur eine der Lichtquellen 130 aktiv ist, kann eine Verschlusszeit der Kamera 125 einen Durchlauf aller Farben oder länger betragen. Das bereitgestellte Bild trägt dabei Farbinformationen und kann in dieser Form weiter verarbeitet werden.
Für die Zwecke der vorliegenden Erfindung werden die Lichtquellen 130 derart gesteuert, dass das Gargut 115 nacheinander mit Licht unterschiedlicher Farben beleuchtet wird. Während der Beleuchtung mit einfarbigem Licht kann mittels der Kamera 125 ein Bild des Garguts 115 angefertigt werden, sodass für N Lichtquellen 130 (in der Darstellung von Figur 1 ist N = 4) gleich viele Bilder angefertigt werden können, die jeweils unter unter schiedlich farbiger Beleuchtung abgetastet wurde. Optional kann noch ein weiteres Bild unter Beleuchtung einer Mischung mehrerer Lichtfarben erstellt werden. Die Mischung kann sich, wie üblicherweise für die Zwecke der Interaktionseinrichtung 155, zu weißem Licht ergänzen. In einer weiteren Ausführungsform kann auf der Basis eines Bilds, das bei mehrfarbiger (insbesondere weißer) Beleuchtung des Garguts 115 erstellt wurde, eine erste Verarbeitung erfolgen, die zur Bestimmung eines Beleuchtungsparameters für die sequentiell einfarbige Beleuchtung führen kann. Dabei können mehrere unterschiedliche Gargüter 115 erfasst und eine eigenständige Auswertung des Gargrades der einzelnen Gargüter 115 durch die Verarbeitungseinrichtung 140 eingeleitet werden. Die ermittelten Gargrade der unterschiedlichen Gargüter 115 können zu entsprechend unterschiedlichen Handlungsanweisungen an einen Benutzer führen.
Für die Abtastung eines Bilds kann die Dauer, über die eine der Lichtquellen 130 aktiviert ist (und die anderen Lichtquellen 130 deaktiviert sind) mindestens so lange wie eine Be- lichtungs- oder Verschlusszeit der Kamera 125 sein. Im Fall eines Farbrads kann dessen Drehgeschwindigkeit entsprechend gesteuert werden, um den gleichen Effekt zu bewir ken. Die Verschlusszeit der Kamera 125 kann für die einfarbige Abtastung gegenüber einem Normalbetrieb verringert werden, um die genannte Bedingung zu erfüllen.
Die unter verschiedenen Lichtfarben entstandenen Bilder können dann mittels der Verar beitungsvorrichtung 140 verarbeitet werden, wobei insbesondere eine Erkennung des Garguts 115 durchgeführt werden kann. Die Erkennung kann insbesondere eine Bestim mung des Garguts 115 oder wenigstens eines seiner Bestandteile umfassen. Ferner kön nen eine Farbe des Garguts 1 15 an wenigstens einem Bereich oder eine optisch wahr nehmbare Information bestimmt werden, die für die Steuerung eines Garprozesses des Garguts 115 von Bedeutung sein kann. Die bestimmten Informationen können über eine Schnittstelle 165 nach außen bereitgestellt werden. Mittels bereitgestellter Informationen kann beispielsweise ein Benutzer über einen Zustand oder Fortschritt des Garguts 1 15 informiert werden, oder die Gareinrichtung 105 kann in Abhängigkeit der Informationen gesteuert werden. Dieser Vorgang kann parallel für mehrere unterschiedliche Gargüter 1 15 erfolgen, die auf der Gareinrichtung 105 und/oder der Fläche 120 positioniert sind.
Figur 2 zeigt ein System 100 in einer weiteren Ausführungsform. Hier ist die Interaktions einrichtung 155 beispielhaft an einer Dunstabzugshaube 205 angebracht oder mit ihr inte griert ausgeführt. Eine zusätzliche Beleuchtungseinrichtung 210 ist bevorzugt zur Aus sendung weißen Lichts eingerichtet und kann einen größeren Bereich beleuchten als der Projektor 145. Rein exemplarisch ist hier keine Tiefenkamera 160 vorgesehen. Der Pro jektor 145 und die Kamera 125 weisen optische Achsen auf, die mit einer Senkrechten im Wesentlichen gleiche Winkel einschließen. In anderen Ausführungsformen können die optischen Achsen auch zusammenfallen oder andere Winkel mit der Senkrechten ein schließen. Allgemein ist bevorzugt, dass optische Achsen des Projektors 145 und der Kamera 125 einen möglichst kleinen Winkel miteinander einschließen.
Figur 3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens zum Erkennen eines Garguts 1 15. Das Verfahren 300 kann insbesondere mittels der Vorrichtung 110 ausge führt werden. Exemplarisch wird zur Erklärung des Verfahrens 300 von N = 3 verschieden farbigen Lichtquellen 130 ausgegangen.
In einem Schritt 305 kann die Fläche 120 abgetastet werden. Dies kann beispielsweise mittels der Tiefenkamera 160 oder mittels der Kamera 125 unter Beleuchtung der Fläche io
120 mit weißem Licht erfolgen. In einem Schritt 310 kann auf der Basis der Abtastung bestimmt werden, wo auf der Fläche sich ein Gargut 115 befindet oder welcher Bereich des Garguts 115 für eine optische Abtastung von besonderem Interesse ist. Es können in diesem Schritt auch mehrere unterschiedliche Gargüter 115 erfasst werden, die dann ge meinsam optisch abgetastet und anschließend separat durch die Verarbeitungsvorrich tung 140 ausgewertet werden.
In einem Schritt 315 wird das Gargut 115 nacheinander mit Licht jeweils nur einer der Lichtquellen 130 beleuchtet und gleichzeitig mittels der Kamera 125 ein Bild abgetastet. Dieser Schritt 315 wird üblicherweise so oft durchlaufen, wie verschiedenfarbige, einzeln aktivierbare Lichtquellen 130 vorgesehen sind. Im vorliegenden Beispiel wird in einem ersten Durchlauf des Schritts 315 werden beispielsweise die erste Lichtquelle 130.1 akti viert und die Lichtquellen 130.2 und 130.3 deaktiviert, und es wird ein erstes Bild unter roter Beleuchtung abgetastet. In einem zweiten Durchlauf werden die erste und die dritte Lichtquelle 130.1 , 130.3 deaktiviert und die zweite Lichtquelle 130.2 wird aktiviert, und ein zweites Bild wird unter grüner Beleuchtung abgetastet. In einem dritten Durchlauf werden die erste und die zweite Lichtquelle 130.1 , 130.2 deaktiviert und die dritte Lichtquelle 130.3 wird aktiviert, und ein drittes Bild wird unter blauer Beleuchtung abgetastet. Die Be leuchtungen können sich auf den im Schritt 310 bestimmten Bereich beschränken. In ei nem umliegenden Bereich kann die Beleuchtung jeweils abgestellt werden öder es kann ein Teil einer vorbestimmten Darstellung ausgegeben werden, die bevorzugt davor und/oder danach auf der gesamten beleuchteten Fläche dargestellt wird.
In einem Schritt 320 kann das Gargut 115 auf der Basis der einzelnen erstellten Bilder erkannt werden. Optional können eines oder mehrere Bilder hinzugenommen werden, die unter Beleuchtung mehrerer farbiger oder einer weißen Lichtquelle 130, 210 entstanden sind. Es ist bevorzugt, dass die zur Erkennung verwendeten Bilder zeitlich nah beieinan der erfasst wurden, um eine Dekorrelation ihrer Bildinhalte zu vermeiden. Beispielsweise können alle Bilder aus einem zeitlichen Bereich von nicht mehr als einer Sekunde oder weniger stammen.
In einem Schritt 325 kann auf der Basis des erkannten Garguts 115 eine seiner Eigen schaften bestimmt werden. Dazu kann insbesondere eine Farbinformation an einer oder mehreren Stellen des Garguts 115 ausgewertet werden. Die Farbinformation kann in Re- lation zur Art des erkannten Garguts 1 15 gesetzt werden. So kann die Farbe braun bei einem Gemüse zu einer anderen Wertung führen als bei Fleisch, Teig oder Obst.
In einem Schritt 330 kann die bestimmte Information ausgegeben werden. Ferner kann ein Hausgerät, gesteuert werden, das insbesondere im Zusammenhang mit dem Garpro zess des Garguts 1 15 steht. Dies kann beispielsweise die Gareinrichtung 105 oder die Dunstabzugshaube 205 umfassen. Beispielsweise kann die Gareinrichtung 105 in ihrer Wärmezufuhr gedrosselt werden, wenn ein gewünschter Garpunkt erreicht ist oder die Dunstabzugshaube 205 kann auf eine stärkere Stufe gestellt werden, wenn im Bereich des Garguts 1 15 eine kochende Flüssigkeit, aufsteigende Wrasen oder Rauch bestimmt wird.
Figur 4 zeigt eine exemplarische Darstellung eines Garguts 1 15 aus der Sicht einer Inter aktionseinrichtung 155. Das Gargut 1 15 befindet sich beispielhaft in einem Gärbehälter 405, vorliegend in einer Pfanne. Auf dem Gargut 115 ist ein Bereich 410 dargestellt, der beispielhaft für die Beurteilung eines Garpunkts oder Garprozesses des Garguts 115 von Interesse ist. Der Bereich 410 kann selektiv nacheinander mittels unterschiedlich farbigen Lichts beleuchtet werden, während jeweils ein Bild abgetastet wird. Der Bereich 410 kann auch in T eilbereiche 410.1 , 410.2 und 410.3 unterteilt werden und die T eilbereiche 410.1 ,
410.2 und 410.3 können gleichzeitig mit jeweils anderen Farben beleuchtet werden, wäh rend jeweils ein Bild aufgenommen wird. Die Anzahl der Teilbereiche 410.1 , 410.2 und
410.3 kann der Anzahl N der Lichtquellen 130 entsprechen oder unabhängig davon ge wählt werden. Der Gärbehälter 405 kann auch mehrere unterschiedliche Gargüter aufwei sen, die entsprechend erkannt und einzeln durch die Verarbeitungsvorrichtung 140 aus gewertet werden.
In noch einer weiteren Ausführungsform kann beispielsweise ein Balken farbigen Lichts über den Bereich 410 bewegt werden, während ein Bild angefertigt wird. Nach dem Durchlaufen von N Balken kann alle erforderliche Information aufgenommen sein. Unter schiedliche Bereiche der aufgezeichneten Bilder können so miteinander kombiniert wer den, dass drei jeweils einfarbige Bilder entstehen, die in beschriebener Weise ausgewer tet werden können.
Figur 5 zeigt unterschiedliche Intensitätsverteilungen von beispielhaft farbigem Licht. In horizontaler Richtung ist eine ungefähre Wellenlänge in nm und in vertikaler Richtung eine Intensität in Prozent angegeben. Eine erste Intensitätsverteilung 505 entspricht rotem Licht, eine zweite Intensitätsverteilung 510 grünem Licht, eine dritte Intensitätsverteilung 515 blauem Licht und eine vierte Intensitätsverteilung 520 infrarotem Licht. Die Intensi tätsverteilungen haben unterschiedliche Bereichsgrenzen. Als Bereichsgrenze kann eine Wellenlänge angenommen werden, jenseits der die Intensität der Intensitätsverteilung 505-520 unterhalb eines vorbestimmten Intensitätswerts liegt, beispielsweise ca. 10%, bevorzugt ca. 5%, weiter bevorzugt ca. 2% oder noch weniger. Die dargestellten Intensi tätsverteilungen 505-520 sind disjunkt, indem sie paarweise keine überlappenden Berei che abdecken.
Bezugszeichen
100 System
105 Gareinrichtung
110 Vorrichtung
115 Gargut
120 Fläche
125 Kamera / Lichtsensor
130 Lichtquelle
135 Steuervorrichtung
140 Verarbeitungsvorrichtung
145 Projektor
150 Lichtventil
155 Interaktionseinrichtung
160 Tiefenkamera
165 Schnittstelle
205 Dunstabzugshaube
210 Beleuchtungseinrichtung
300 Verfahren
305 Arbeitsfläche abtasten
310 Bereich bestimmen
315 Bereich farbig beleuchten, Bild erfassen
320 Gargut erkennen
325 Eigenschaft bestimmen
330 Gargerät ansteuern/Information ausgeben
405 Gärbehälter
410 Bereich
410.1 erster Teilbereich
410.2 zweiter Teilbereich
410.3 dritter Teilbereich erste Intensitätsverteilung (Rot) zweite Intensitätsverteilung (Grün) dritte Intensitätsverteilung (Blau) vierte Intensitätsverteilung (Infrarot)

Claims

PATENTANSPRÜCHE
1. Vorrichtung (110) zur Erkennung eines Garguts (115), wobei die Vorrichtung (110) folgendes umfasst:
eine erste Lichtquelle (130.1), die zur Aussendung von Licht einer ersten Farbe auf das Gargut (115) eingerichtet ist;
eine zweite Lichtquelle (130.2), die zur Aussendung von Licht einer zweiten Farbe auf das Gargut (115) eingerichtet ist;
einen Lichtsensor (125), der zur Abtastung von Bildern des Garguts (115) in Licht der ersten und der zweiten Farbe eingerichtet ist;
eine Steuervorrichtung (135), die dazu eingerichtet ist:
o ein erstes Bild des Garguts (115) bereitzustellen, während die erste Lichtquelle (130.1) aktiviert und die zweite Lichtquelle (130.2) deakti viert ist;
o ein zweites Bild des Garguts (115) bereitzustellen, während die erste Lichtquelle (130.1) deaktiviert und die zweite Lichtquelle (130.2) akti viert ist;
eine Verarbeitungsvorrichtung (140), die dazu eingerichtet ist, das Gargut (115) auf der Basis des ersten und des zweiten Bilds zu erkennen.
2. Vorrichtung (110) nach Anspruch 1 , wobei die Farben unterschiedliche Intensitäts verteilungen (505-520) über die Wellenlänge des jeweils ausgesandten Lichts aufweisen.
3. Vorrichtung (110) nach Anspruch 1 oder 2, wobei N > 2 Lichtquellen (130) vorge sehen sind, die zur Aussendung von Licht mit unterschiedlichen Farben eingerich tet sind; die Steuervorrichtung (135) zur Bereitstellung von N Bildern eingerichtet ist, die jeweils unter Beleuchtung des Garguts (115) mittels nur einer der N Licht quellen (130) bereitgestellt sind; und die Verarbeitungsvorrichtung (140) zur Er kennung des Garguts (115) auf der Basis der N bereitgestellten Bilder eingerichtet ist.
4. Vorrichtung (110) nach Anspruch 3, wobei drei Lichtquellen (130) vorgesehen sind, von denen jeweils eine zur Aussendung von rotem, grünem und blauem Licht vorgesehen ist.
5. Vorrichtung (110) nach einem der vorangehenden Ansprüche, wobei eine der Lichtquellen (130) einen Laser umfasst.
6. Vorrichtung (110) nach einem der vorangehenden Ansprüche, wobei wenigstens eine der Farben in einem für das menschliche Auge unsichtbaren Infrarotbereich liegt.
7. Vorrichtung (110) nach einem der vorangehenden Ansprüche, wobei die Steuer vorrichtung (135) dazu eingerichtet ist, ein weiteres Bild des Garguts (115) bereit zustellen, während mehrere der Lichtquellen (130) aktiviert sind, und die Verarbei tungsvorrichtung (140) dazu eingerichtet ist, das Gargut (115) auf der zusätzlichen Basis des weiteren Bilds zu erkennen.
8. Vorrichtung (110) nach einem der vorangehenden Ansprüche, wobei die Lichtquel len (130) dazu eingerichtet sind, jeweils ein farbiges Bild auf eine Oberfläche (120) zu projizieren, auf der sich das Gargut (115) befindet, und die Steuervorrichtung (135) dazu eingerichtet ist, nur einen vorbestimmten Bereich (410) der Oberfläche (120) nacheinander mittels der Lichtquellen (130) zu beleuchten, um die Bilder be reitzustellen.
9. Vorrichtung (110) nach Anspruch 8, wobei das Gargut (115) erkannt und der Be reich (410) in Abhängigkeit des erkannten Garguts (115) bestimmt wird.
10. Verfahren (300) zum Erkennen eines Garguts (115), wobei das Verfahren (300) folgende Schritte umfasst:
Aktivieren (315) einer ersten Lichtquelle (130.1), die zur Aussendung von Licht einer ersten Farbe auf das Gargut (115) eingerichtet ist;
Deaktivieren (315) einer zweiten Lichtquelle (130.2), die zur Aussendung von Licht einer zweiten Farbe auf das Gargut (115) eingerichtet ist;
Bereitstellen (315) eines ersten Bilds des Garguts (115) in Licht der ersten Farbe; Deaktivieren (315) der ersten Lichtquelle (130.1) und Aktivieren der zweiten Lichtquelle (130.2);
Bereitstellen (315) eines zweiten Bilds des Garguts (115) in Licht der zweiten Farbe; und
- Erkennen (320) des Garguts (115) auf der Basis des ersten und des zweiten
Bilds.
11. Verfahren (300) nach Anspruch 10, wobei gleichzeitig zwei disjunkte Bereiche (410.1 , 410.2, 410.3) des Garguts (115) gleichzeitig mit Licht unterschiedlicher Farben beleuchtet und zwei Teilbilder der Bereiche (410.1 , 410.2, 410.3) bereitge stellt werden.
12. Verfahren (300) nach einem der Ansprüche 10 oder 11 , wobei auf der Basis der Bilder ein Garzustand des Garguts (115) bestimmt wird.
EP20710121.3A 2019-03-11 2020-03-06 Optisches erkennen eines garguts Active EP3938710B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019203259.1A DE102019203259A1 (de) 2019-03-11 2019-03-11 Optisches Erkennen eines Garguts
PCT/EP2020/056007 WO2020182653A1 (de) 2019-03-11 2020-03-06 Optisches erkennen eines garguts

Publications (2)

Publication Number Publication Date
EP3938710A1 true EP3938710A1 (de) 2022-01-19
EP3938710B1 EP3938710B1 (de) 2024-11-13

Family

ID=69780199

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20710121.3A Active EP3938710B1 (de) 2019-03-11 2020-03-06 Optisches erkennen eines garguts

Country Status (3)

Country Link
EP (1) EP3938710B1 (de)
DE (1) DE102019203259A1 (de)
WO (1) WO2020182653A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2149755B1 (de) * 2008-07-30 2012-12-05 Electrolux Home Products Corporation N.V. Ofen und Betriebsverfahren dafür
DE102010039371B4 (de) * 2010-08-16 2012-08-30 BSH Bosch und Siemens Hausgeräte GmbH Steuervorrichtung für ein Hausgerät sowie Hausgerät mit einer Steuervorrichtung
DE102013102295A1 (de) * 2013-03-07 2014-09-11 Rational Ag Verfahren zur Anpassung eines Lebensmittel-Garprozesses
DE102013211097A1 (de) 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
DE102014210672A1 (de) * 2014-06-05 2015-12-17 BSH Hausgeräte GmbH Gargerät mit Lichtmusterprojektor und Kamera
DE102017206056A1 (de) * 2017-04-10 2018-10-11 BSH Hausgeräte GmbH Betreiben eines Gargeräts

Also Published As

Publication number Publication date
DE102019203259A1 (de) 2020-09-17
EP3938710B1 (de) 2024-11-13
WO2020182653A1 (de) 2020-09-17

Similar Documents

Publication Publication Date Title
EP3610198B1 (de) Betreiben eines gargeräts
EP3500798B1 (de) Feststellen eines bräunungsgrads von gargut
EP3560185B1 (de) System und verfahren zum erfassen von messbildern eines messobjekts
DE102019120008B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019107812A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
EP4018129B1 (de) Betreiben eines haushalts-gargeräts mit mindestens einer kamera
EP3864346B1 (de) Verfahren zum zubereiten von gargut, gargerät und gargeräte-system
EP2910856B1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019216682A1 (de) Bestimmen eines Ziel-Verarbeitungszustands eines zu behandelnden Garguts
EP4274997A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
DE102017118661A1 (de) Küchengerät mit einer Beleuchtungseinrichtung zur Beleuchtung eines Lebensmittels
EP3938710B1 (de) Optisches erkennen eines garguts
DE102017011134B4 (de) Haushaltskältegerät sowie Verfahren zum Steuern einer in diesem angeordneten Lichtquellenanordnung
EP3722673A1 (de) Gargerät und verfahren
DE102014103457A1 (de) Verfahren zum Auswählen eines Garprogramms und Gargerät
DE102017012206B4 (de) Elektrisches Haushaltsgerät mit farbtemperaturvariabler Leuchtvorrichtung
DE102019206239A1 (de) Verfahren zum Betreiben eines Kochfeldes und Kochvorrichtung mit Kochfeld
DE102015103504A1 (de) Verfahren und Baugruppe zum Garen von Nahrungsmitteln
EP3948091B1 (de) Verfahren zum zubereiten eines garguts mit optisch angezeigten gargutzonen des garguts, gargerät und computerprogrammprodukt
EP3762654A1 (de) Interaktionsmodul
WO2022002589A1 (de) Lebensmittelzubereitungsvorrichtung und verfahren zur lebensmittelzubereitung
EP4345380A1 (de) Gargerät und verfahren zum betreiben eines gargeräts
WO2018007468A1 (de) Vorrichtung und verfahren zur objektbeobachtung
DE102019119742A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102005042803A1 (de) Vorrichtung mit einer Recheneinheit zum automatischen Erstellen und/oder Konzipieren eines Gesamtprodukts

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211011

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240624

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020009747

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250313

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250313

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020009747

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241113

26N No opposition filed

Effective date: 20250814

REG Reference to a national code

Ref country code: CH

Ref legal event code: H13

Free format text: ST27 STATUS EVENT CODE: U-0-0-H10-H13 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251024

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250306

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20250306

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250306

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250306

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260331

Year of fee payment: 7