EP3844665A1 - Interaktionseinrichtung - Google Patents

Interaktionseinrichtung

Info

Publication number
EP3844665A1
EP3844665A1 EP19753002.5A EP19753002A EP3844665A1 EP 3844665 A1 EP3844665 A1 EP 3844665A1 EP 19753002 A EP19753002 A EP 19753002A EP 3844665 A1 EP3844665 A1 EP 3844665A1
Authority
EP
European Patent Office
Prior art keywords
interaction
projection
determined
camera
interaction device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19753002.5A
Other languages
English (en)
French (fr)
Inventor
Markus Helminger
Gerald Horst
Philipp Kleinlein
Frank Schaefer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3844665A1 publication Critical patent/EP3844665A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Definitions

  • the invention relates to an interaction device for a domestic appliance.
  • the invention relates to an interaction device for flexible control of one or more household appliances.
  • DE 10 2016 100 949 A1 shows a household appliance with a projector for displaying a control element and a camera for detecting an interaction of a user with the control element.
  • a barcode of a product can also be scanned using the camera in order to prepare the household appliance for processing the product.
  • US 6 559 882 B1 proposes an oven which scans a food to be thawed by means of an infrared camera and provides a thermal image of the food during thawing.
  • the camera can also scan a barcode of a dish or recognize the dish itself to control defrosting.
  • An interaction device comprises a projector for providing a projection; a first camera for determining an interaction of an object with the projection; a second camera for scanning an image of the object; and a processing device configured to determine the object based on a scanned image.
  • the detection of the object can thus be improved centrally and one or more household appliances, in particular kitchen appliances, can be provided with a reference to the detected object or can be controlled depending on the detected object.
  • the object can in particular comprise an ingredient that is consumed in the preparation of a dish.
  • the ingredient as an object can be assigned to different kitchen appliances in succession or simultaneously.
  • the ingredient can first be stored in a pantry, refrigerator or freezer. It can then be removed by a user and processed on the basis of a recipe, for example using a mixer or a mixer. The ingredient can then be cooked together with other ingredients, for example in an oven or on a stove.
  • the kitchen appliances mentioned or other kitchen appliances can be controlled in an improved manner as a function of the detected object.
  • an inventory of objects present in a household can be better supported by the central object recognition by means of the interaction device.
  • the object can be determined in different ways.
  • the object is determined on the basis of the image.
  • an outline, a shape, a size, a color or a texture of the object on the image can be recognized and compared with reference data.
  • the object can be assigned to a class of objects to which further information can be assigned, for example a price, a content of a nutrient or a usual shelf life. Unpackaged products, in particular, can thus be better identified.
  • the object is determined on the basis of a label attached to the object.
  • the label can in particular be attached to a packaging of the object.
  • the packaging itself can also be recognized.
  • the packaging or the label can be provided with, in particular, printed information, which can, for example, provide text, numerical or alphanumeric information about the object.
  • the object can also be determined on the basis of a logo or trademark on the label or packaging.
  • a machine-readable identifier is attached to the object, the packaging or the label. This identifier can include, for example, a bar code or a QR code (two-dimensional raster code).
  • the coded information can be mapped to the object directly or by means of an assignment by a database and optionally further information which can be assigned to the object. It is further preferred that the interaction device determines a quantity of the determined object. Different embodiments are possible for this. It is common to all embodiments that the quantity can be determined in any units that are applicable to the object, for example as length, area or hollow dimension, number or weight. Additional units are also possible.
  • the amount of the determined object is determined based on the scanned image.
  • a shape, a color, a size or a texture of the object can be taken from the image and assigned to an object based on previously determined information.
  • a differentiation is made between two different objects.
  • the first camera is set up to determine an image of said first object, while the second camera is set up to detect an interaction of a second, other object with the projection.
  • a set of the determined first object can then be determined based on the interaction.
  • the second object can in particular include a hand or another body part of a user.
  • the amount can be specified by the user, for example by making a predetermined gesture or interacting with the projection.
  • the objects can be captured simultaneously or one after the other.
  • the projection comprises an input field for a quantity.
  • the quantity can be specified numerically, for example, using a number field.
  • an analog input can be supported in which, for example, a slide or rotary control can be changed by a user.
  • a symbolic input field can also be provided, in particular for quantities that are difficult to quantify, such as a splash or a pinch.
  • an input field for a unit can be provided. Units of the information can be variable in order to support a metric, an Anglo-American or another measurement system. For example, kitchen measures can be supported that include information such as a teaspoon, a tablespoon, a knife tip, a wine glass, a cup, a large, a shock or an egg weight.
  • the amount of the determined object is determined by means of a measuring device in the area of the projection.
  • the measuring device can in particular comprise a scale, which can be embedded, for example, in an object such as a worktop or a work board.
  • the scale can also be part of cookware or cutlery.
  • the measured value determined by the scale is preferably transmitted to the interaction device wirelessly.
  • the processing device of the interaction device can be provided regardless of location and can be connected to other components by means of a wireless communication device in particular.
  • the processing device can be implemented as a server or service, for example in a cloud.
  • a system comprises an interaction device described herein and a central point with a communication device.
  • the central point is set up to carry out determinations of objects for a large number of interaction devices. Processing or storage resources of the central point can thereby be made available to a large number of interaction devices.
  • data collection about objects can be kept better in order to assign an attribute to an object to be recognized or recognized.
  • the assignment can be carried out with improved learning ability, since a large number of scans and determinations of objects can be carried out, the success or failure of which can be determined and stored for future use.
  • a method comprises steps of providing a projection; scanning an area in which the projection lies; scanning an image of a first object in the area of the projection; detecting an interaction of a second object with the projection; and determining the first object based on the scanned image.
  • the method can in particular be carried out partially or completely by means of an interaction device or a system described here.
  • the method can be present, in particular, in the form of a computer program product with program code means, and a processing device of the interaction device or of the system can be configured as a programmable microcomputer or microprocessor. rocontroller.
  • a processing device of the interaction device or of the system can be configured as a programmable microcomputer or microprocessor. rocontroller.
  • Features or advantages of the method can be transferred to the device or the system and vice versa.
  • the interaction points to a class of objects, the first object being assigned to the class.
  • different cucumbers can be assigned to a class that includes different cucumbers.
  • a relatively small number of manual entries can be sufficient to provide sufficient reference data so that further objects of the same class can be recognized automatically.
  • a set of the determined first object can be removed from an inventory list.
  • the inventory list can in particular comprise a list of available household supplies.
  • the stocks preferably include ingredients or consumables that can be used to prepare a dish.
  • Certain quantities of the specific first object can also be added to a procurement list.
  • the procurement list can optionally be transmitted to a user's mobile device, for example to a smartphone.
  • the procurement list can also be made available, for example, to a central storage location, such as on a server or in the cloud, for retrieval by a user.
  • a predetermined quantity of the first object is only added to the procurement list if a further predetermined quantity of the first object has previously been consumed.
  • a partially or fully automatic order for one or more first objects can be controlled based on the procurement list.
  • the processing device can be set up to carry out a method described here in whole or in part.
  • the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means.
  • the computer program product can also be stored on a computer-readable data carrier. Additional features or advantages of the method can be transferred to the device or vice versa.
  • Figure 1 shows a system with an interaction device
  • Figure 2 illustrates a flow diagram of a method.
  • FIG. 1 shows a system 100 with an interaction device 105.
  • the interaction device 105 is preferably arranged in a household, more preferably in a kitchen of the household.
  • One task of the interaction device 105 is preferably to control one or more domestic appliances 110, which can in particular comprise a kitchen appliance.
  • the interaction device 105 can optically scan a first object 115 and / or a second object 120.
  • the two objects 115, 120 can be identical to one another or different from one another. If they are different from one another, it is preferred that the first object 115 comprises a food, an ingredient or a similar consumable of a household, while the second object 120 preferably a body part of a user, in particular a hand, or a user-controlled pointing device includes.
  • the interaction device 105 comprises a projector 125, a first camera 130 and a second camera 135.
  • the projector 125 is set up to throw a projection 140 onto a surface 145.
  • the surface 145 can in particular be that of a work surface or a work board 150.
  • the interaction device 105 is preferably mounted vertically above the surface 145 and directed downwards.
  • the interaction device 105 can be arranged in the region of an upper cabinet or an extractor hood.
  • an oblique or lateral orientation of the interaction device 105 with respect to a customary position of a user on the work surface can also be provided.
  • the surface 145 can also include, for example, a side wall of a kitchen furniture or a wall of a room in a household. Other surfaces 145 can also be used.
  • the first camera 130 is set up to take an image of the first object 115
  • the second camera 135 is set up to allow the second object 120 to interact with the projection 140 determine.
  • the projection 140 can comprise a control surface, the touch of which can be determined by the second object 120, for example a hand or a finger of a user, by means of the second camera 135.
  • the projector 125, the first camera 130 and the second camera 135 can also be arranged in a different constellation than the one shown.
  • the first camera 130 is preferably set up to scan an image in the visible light wavelength range.
  • the second camera 135 can comprise a depth camera, which can work in particular in an invisible wavelength range of light. This range can include an infrared range.
  • An image of the first object 115 and / or the second object 120 provided by the second camera 135 can additionally include depth information. This can be determined, for example, on the basis of the speed of light propagation between an installed light source and the second camera 135 or by means of stereoscopy.
  • the interaction device 105 further preferably comprises a processing device 155, which is further preferably provided locally in the area of the projector 125 and the cameras 130 and 135.
  • a preferably wireless communication interface 160 can be provided.
  • processing device 155 or a further processing device 155 is communicatively connected via communication interface 160.
  • the processing device 155 can be part of a central point 165, which can be designed in particular as a server or service, for example in a cloud.
  • Further devices can also be communicatively connected via the communication interface 160.
  • communication with a device 170 can be made possible, which can be assigned to a user of the system 100 as a smart device, for example.
  • Device 170 may include, for example, a smartphone, tablet, or similar general-purpose computer.
  • a measuring device 175 is provided, which can in particular be part of an object, on the surface 145 of which the projection 140 is thrown, for example a worktop or the work board 150.
  • the measuring device 175 can be set up to determine a quantity, in particular a mass, of the first object 115.
  • the measurement result can be processed further by means of the processing device 155 of the interaction device 105.
  • the interaction device 105 not only be used to control one or more of the domestic appliances 110, but also to recognize and manage the first object 115.
  • the administration can include, in particular, an assignment to one of the domestic appliances 110 or a storage or stock holding.
  • FIG. 2 shows a flow chart of an exemplary method 200.
  • the method 200 can be carried out by means of the interaction device 105 or by means of the system 100.
  • the steps of method 200 do not necessarily have to be carried out in the order shown.
  • the projection 140 can be effected on the surface 145 by means of the projector 125.
  • the projection 140 can comprise different optical information, for example a pattern, a symbol, a control surface or an animation.
  • the first object 115 is scanned by the first camera 130 and an image of the first object 115 is provided.
  • the first object 115 can be determined in a step 215. The determination can be made in particular on the basis of the image provided.
  • the first object 115 is recognized itself, in another embodiment a packaging of the first object 115 or a label attached to the first object 115 or to its packaging.
  • the label can in particular comprise a textual specification of the first object 115, a barcode or a QR code.
  • a step 220 the second object 120 is scanned by means of the second camera 135 and an interaction with the projection 140 or a visual information output via the projection 140 is determined.
  • the scanning of the first object 115 and the determination of the interaction of the second object 120 with the projection 140 run parallel to one another, from can be done separately or in different degrees of mutual integration.
  • the first object 115 and the second object 120 can be scanned one after the other and individually.
  • the first object 1 15 can be scanned together with the second object 120 by means of the first camera 130, and then the interaction of the second object 120, with or without the first object 1 15, with the projection 140 by means of the second Camera 135 can be determined.
  • the first object 115 can also be used to express an interaction with the projection 140. For this purpose, it can be guided by the second object 120.
  • an external signal can be received, which can originate in particular from the measuring device 175.
  • the first object 115 can first be fed to the measuring device 175, for example by placing it on the surface 145.
  • the signal preferably indicates an amount (a quantum) of the first object 115.
  • a quantity of the first object 115 can be determined. This refers in particular to the amount that is consumed, for example, during a cooking process or as part of a serving and is then no longer available to the household.
  • the amount can be determined in different ways. An automatically recognized quantity does not have to be identical to an actually used quantity. In this case, a manual correction can take place, in particular by means of the interaction device 105. A correction of a quantity determined by means of the measuring device 175 can also take place in this way. In another embodiment, the amount can be estimated. If the first object 115 comprises, for example, a nutmeg, of which only a small part is usually used for the preparation of a dish, a customary or average value can be estimated as a quantity.
  • a step 235 the information determined in this way can be processed further. In particular, it can be seen how much of the first object 115 is still available in the household. If necessary, a predetermined amount of the first object 115 can be placed on a procurement list.
  • the procurement list can be the basis of a semi-automatic or automatic order.
  • the list may also be communicated to device 170 to allow for user acquisition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Eine Interaktionseinrichtung umfasst einen Projektor zur Bereitstellung einer Projektion; eine erste Kamera zur Bestimmung einer Interaktion eines Objekts mit der Projektion; eine zweite Kamera zur Abtastung eines Bildes des Objekts; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, das Objekt auf der Basis eines abgetasteten Bildes zu bestimmen.

Description

Interaktionseinrichtung
Die Erfindung betrifft eine Interaktionseinrichtung für ein Hausgerät. Insbesondere betrifft die Erfindung eine Interaktionseinrichtung zur flexiblen Steuerung eines oder mehrerer Hausgeräte.
DE 10 2016 100 949 A1 zeigt ein Haushaltsgerät mit einem Projektor zur Darstellung ei- nes Steuerelements und einer Kamera zur Erfassung einer Interaktion eines Benutzers mit dem Steuerelement. Mittels der Kamera kann außerdem ein Strichcode eines Pro- dukts abgetastet werden, um das Haushaltsgerät für die Verarbeitung des Produkts vor- zubereiten.
US 6 559 882 B1 schlägt einen Ofen vor, der eine aufzutauende Speise mittels einer Inf- rarotkamera abtastet und während des Auftauens ein Wärmebild der Speise bereitstellt. Die Kamera kann auch einen Barcode einer Speise abtasten oder die Speise selbst er- kennen, um das Auftauen zu steuern.
Die bekannten Techniken erlauben üblicherweise eine Verbindung zwischen einem er- kannten Objekt und einer einzigen, isolierten Applikation. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Interaktionsein- richtung. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Eine Interaktionseinrichtung umfasst einen Projektor zur Bereitstellung einer Projektion; eine erste Kamera zur Bestimmung einer Interaktion eines Objekts mit der Projektion; eine zweite Kamera zur Abtastung eines Bildes des Objekts; und eine Verarbeitungsein- richtung, die dazu eingerichtet ist, das Objekt auf der Basis eines abgetasteten Bildes zu bestimmen.
Die Erkennung des Objekts kann dadurch verbessert zentral erfolgen und eines oder mehrere Hausgeräte, insbesondere Küchengeräte, können einen Hinweis auf das erfass- te Objekt zur Verfügung gestellt bekommen oder in Abhängigkeit des erfassten Objekts gesteuert werden. Eine Integration oder Konzertierung mehrerer Hausgeräte, insbesonde- re Küchengeräte, kann dadurch verbessert werden. Das Objekt kann insbesondere eine Zutat umfassen, die bei der Zubereitung einer Speise verbraucht wird. Die Zutat als Objekt kann dabei nacheinander oder auch gleichzeitig ver- schiedenen Küchengeräten zugeordnet sein. Beispielsweise kann die Zutat zunächst in einem Vorratsschrank, einem Kühlschrank oder einem Gefrierfach aufgehoben sein. Sie kann dann von einem Benutzer entnommen und auf der Basis eines Rezepts etwa mittels eines Mixers oder einer Rührmaschine verarbeitet werden. Danach kann die Zutat zu- sammen mit anderen Zutaten beispielsweise in einem Ofen oder auf einem Herd gegart werden. Die genannten Küchengeräte oder auch andere Küchengeräte können in Abhän- gigkeit des erkannten Objekts verbessert gesteuert werden. Insbesondere kann eine In- ventarisierung von in einem Haushalt vorhandenen Objekten durch die zentrale Objekter- kennung mittels der Interaktionseinrichtung verbessert unterstützt werden.
Das Objekt kann auf unterschiedliche Weise bestimmt werden. In einer ersten Variante wird das Objekt auf der Basis des Bildes bestimmt. Dazu können beispielsweise ein Um- riss, eine Form, eine Größe, eine Farbe oder eine Textur des Objekts auf dem Bild er- kannt und mit Referenzdaten verglichen werden. Dabei kann das Objekt einer Klasse von Objekten zugeordnet werden, der weitere Informationen zugeordnet sein können, bei- spielsweise ein Preis, ein Gehalt eines Nährstoffs oder eine übliche Haltbarkeitsdauer. So können insbesondere unverpackte Produkte verbessert bestimmt werden.
In einer zweiten Variante wird das Objekt auf der Basis eines dem Objekt anhaftenden Etiketts bestimmt. Das Etikett kann insbesondere an einer Verpackung des Objekts ange- bracht sein. In einer weiteren Variante kann auch die Verpackung selbst erkannt werden. Die Verpackung oder das Etikett können mit insbesondere aufgedruckten Informationen versehen sein, die beispielsweise textuell, numerisch oder alphanumerisch einen Hinweis auf das Objekt liefern können. Das Objekt kann auch auf der Basis eines Logos oder Wa- renzeichens auf dem Etikett oder der Verpackung bestimmt werden. In noch einer weite- ren Ausführungsform ist eine maschinenlesbare Kennung auf dem Objekt, der Verpa- ckung oder dem Etikett angebracht. Diese Kennung kann beispielsweise einen Strichcode oder einen QR-Code (zweidimensionaler Rastercode) umfassen. Die codierten Informati- onen können unmittelbar oder mittels Zuordnung durch eine Datenbank auf das Objekt und optional weitere Informationen abgebildet werden, die dem Objekt zugeordnet sein können. Es ist weiter bevorzugt, dass durch die Interaktionseinrichtung eine Menge des bestimm- ten Objekts bestimmt wird. Dazu sind unterschiedliche Ausführungsformen möglich. Allen Ausführungsformen ist gemeinsam, dass die Menge in beliebigen Einheiten bestimmt werden kann, die auf das Objekt anwendbar sind, beispielsweise als Längen-, Flächen- oder Hohlmaß, Anzahl oder Gewicht. Weitere Einheiten sind ebenfalls möglich.
In einer ersten Ausführungsform wird die Menge des bestimmten Objekts auf der Basis des abgetasteten Bildes bestimmt. Dazu können beispielsweise eine Form, eine Farbe, eine Größe oder eine Textur des Objekts aus dem Bild entnommen und auf der Basis zuvor bestimmter Informationen einem Objekt zugeordnet werden.
In einer zweiten Ausführungsform wird zwischen zwei unterschiedlichen Objekten diffe renziert. Die erste Kamera ist dabei dazu eingerichtet, ein Bild des genannten, ersten Ob- jekts zu bestimmen, während die zweite Kamera dazu eingerichtet ist, eine Interaktion eines zweiten, anderen Objekts mit der Projektion zu erfassen. Eine Menge des bestimm- ten ersten Objekts kann dann auf der Basis der Interaktion bestimmt werden.
Das zweite Objekt kann insbesondere eine Hand oder ein anderes Körperteil eines Be- nutzers umfassen. Eine Angabe der Menge kann durch den Benutzer erfolgen, indem dieser beispielsweise eine vorbestimmte Geste macht oder mit der Projektion interagiert. Die Objekte können gleichzeitig oder nacheinander erfasst werden.
In einer Fortbildung dieser Ausführungsform umfasst die Projektion ein Eingabefeld für eine Mengenangabe. Die Mengenangabe kann beispielsweise numerisch mittels eines Ziffernfelds erfolgen. Alternativ kann eine analoge Eingabe unterstützt werden, bei der beispielsweise ein Schiebe- oder Drehregler durch einen Benutzer verändert werden kann. Auch ein symbolisches Eingabefeld kann bereitgestellt sein, insbesondere für schwer zu quantifizierende Mengen wie einen Spritzer oder eine Prise. Zusätzlich kann ein Eingabefeld für eine Einheit vorgesehen sein. Einheiten der Angaben können variabel sein, um etwa ein metrisches, ein angloamerikanisches oder ein anderes Maßsystem zu unterstützen. Beispielsweise können auch Küchenmaße unterstützt werden, die Angaben wie einen Teelöffel, einen Esslöffel, eine Messerspitze, ein Weinglas, eine Tasse, ein Gros, ein Schock oder ein Eischwer umfassen. In einer dritten Ausführungsform wird die Menge des bestimmten Objekts mittels einer Messeinrichtung im Bereich der Projektion bestimmt. Die Messeinrichtung kann insbe- sondere eine Waage umfassen, die beispielsweise in ein Objekt wie eine Arbeitsplatte oder ein Arbeitsbrett eingelassen sein kann. Die Waage kann auch Teil eines Kochge- schirrs oder Kochbestecks sein. Eine Übertragung des durch die Waage bestimmten Messwerts an die Interaktionseinrichtung erfolgt bevorzugt drahtlos.
Die Verarbeitungseinrichtung der Interaktionseinrichtung kann ortsunabhängig vorgese- hen und durch eine insbesondere drahtlose Kommunikationseinrichtung an andere Kom- ponenten angebunden sein. Insbesondere kann die Verarbeitungseinrichtung als Server oder Dienst, beispielsweise in einer Cloud, realisiert sein.
Ein System umfasst eine hierin beschriebene Interaktionseinrichtung und eine zentrale Stelle mit einer Kommunikationseinrichtung. Dabei ist die zentrale Stelle dazu eingerich- tet, Bestimmungen von Objekten für eine Vielzahl Interaktionseinrichtungen durchzufüh- ren. Verarbeitungs- oder Speicherressourcen der zentralen Stelle können dadurch einer Vielzahl Interaktionseinrichtungen bereitgestellt werden. Darüber hinaus kann eine Daten- sammlung über Objekte verbessert vorgehalten werden, um einem zu erkennenden oder erkannten Objekt ein Attribut zuzuordnen. Die Zuordnung kann insbesondere in dieser Variante verbessert lernfähig ausgeführt werden, indem eine große Vielzahl Abtastungen und Bestimmungen von Objekten durchgeführt werden können, deren Erfolg oder Misser- folg bestimmt und zur zukünftigen Verwendung abgelegt werden können.
Ein Verfahren umfasst Schritte des Bereitstellens einer Projektion; des Abtastens eines Bereichs, in welchem die Projektion liegt; des Abtastens eines Bildes eines ersten Objekts im Bereich der Projektion; des Erfassens einer Interaktion eines zweiten Objekts mit der Projektion; und des Bestimmens des ersten Objekts auf der Basis des abgetasteten Bil des.
Das Verfahren kann insbesondere mittels einer hierin beschriebenen Interaktionseinrich- tung oder eines hierin beschriebenen Systems teilweise oder vollständig durchgeführt werden. Dazu kann das Verfahren insbesondere in Form eines Computerprogrammpro- dukts mit Programmcodemitteln vorliegen und eine Verarbeitungseinrichtung der Interak- tionseinrichtung oder des Systems kann als programmierbarer Mikrocomputer oder Mik- rocontroller ausgeführt sein. Merkmale oder Vorteile des Verfahrens können auf die Vor- richtung oder das System übertragen werden und umgekehrt.
In einer Variante weist die Interaktion auf eine Klasse von Objekten hin, wobei das erste Objekt der Klasse zugeordnet wird. Beispielsweise können unterschiedliche Gurken einer Klasse zugeordnet werden, die verschiedene Gurken umfasst. Eine relativ geringe Anzahl manueller Eingaben kann ausreichen, um ausreichend Referenzdaten bereitzustellen, sodass weitere Objekte der gleichen Klasse automatisch erkannt werden können.
In einer weiter bevorzugten Ausführungsform kann eine Menge des bestimmten ersten Objekts von einer Inventarliste entfernt werden. Die Inventarliste kann insbesondere eine Liste verfügbarer Vorräte eines Haushalts umfassen. Die Vorräte umfassen bevorzugt Zutaten oder Verbrauchsmaterial, das für die Zubereitung einer Speise verbraucht werden kann.
Bestimmte Mengen des bestimmten ersten Objekts können auch zu einer Beschaffungs- liste hinzugefügt werden. Die Beschaffungsliste kann wahlweise an ein mobiles Gerät eines Benutzers, beispielsweise an ein Smartphone, übermittelt werden. Alternativ kann die Beschaffungsliste auch beispielsweise an einen zentralen Speicherort wie auf einem Server oder in einer Cloud für den Abruf durch einen Benutzer bereitgestellt werden. In noch einer weiteren Ausführungsform wird erst dann eine vorbestimmte Menge des ersten Objekts der Beschaffungsliste hinzugefügt, wenn zuvor eine weitere vorbestimmte Menge des ersten Objekts verbraucht wurde. In einer Erweiterung kann auf der Basis der Be- schaffungsliste auch eine teil- oder vollautomatische Bestellung eines oder mehrerer ers- ter Objekt gesteuert werden.
Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Ver- fahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abge- speichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung über- tragen werden oder umgekehrt. Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:
Figur 1 ein System mit einer Interaktionseinrichtung; und
Figur 2 ein Ablaufdiagramm eines Verfahrens darstellt.
Figur 1 zeigt ein System 100 mit einer Interaktionseinrichtung 105. Die Interaktionseinrich- tung 105 ist bevorzugt in einem Haushalt, weiter bevorzugt in einer Küche des Haushalts angeordnet. Eine Aufgabe der Interaktionseinrichtung 105 besteht bevorzugt in der Steue- rung eines oder mehrerer Hausgeräte 1 10, die insbesondere ein Küchengerät umfassen können. Dazu kann die Interaktionseinrichtung 105 ein erstes Objekt 115 und/oder ein zweites Objekt 120 optisch abtasten. Die beiden Objekte 115, 120 können miteinander identisch oder voneinander verschieden sein. Sind sie voneinander verschieden, so ist bevorzugt, dass das erste Objekt 115 ein Lebensmittel, eine Zutat oder einen ähnlichen Verbrauchsgegenstand eines Haushalts umfasst, während das zweite Objekt 120 bevor- zugt ein Körperteil eines Benutzers, insbesondere eine Hand, oder eine benutzergesteu- erte Zeigeeinrichtung umfasst.
Die Interaktionseinrichtung 105 umfasst einen Projektor 125, eine erste Kamera 130 und eine zweite Kamera 135. Der Projektor 125 ist dazu eingerichtet, eine Projektion 140 auf eine Oberfläche 145 zu werfen. Die Oberfläche 145 kann insbesondere die einer Arbeits- fläche oder eines Arbeitsbretts 150 sein. Dabei ist die Interaktionseinrichtung 105 bevor- zugt vertikal über der Oberfläche 145 angebracht und nach unten gerichtet. Insbesondere kann die Interaktionseinrichtung 105 im Bereich eines Oberschranks oder einer Dunstab- zugshaube angeordnet sein. In einer weiteren Ausführung kann auch eine schräge oder seitliche Ausrichtung der Interaktionseinrichtung 105 bezüglich einer üblichen Position eines Benutzers an der Arbeitsfläche vorgesehen sein. Dabei kann die Oberfläche 145 auch beispielsweise eine Seitenwand eines Küchenmöbels oder eine Wand eines Zim- mers in einem Haushalt umfassen. Andere Oberflächen 145 können ebenfalls verwendet werden.
Die erste Kamera 130 ist dazu eingerichtet, ein Bild des ersten Objekts 1 15, und die zwei- te Kamera 135 dazu, eine Interaktion des zweiten Objekts 120 mit der Projektion 140 zu bestimmen. Insbesondere kann die Projektion 140 eine Steuerfläche umfassen, deren Berührung durch das zweite Objekt 120, beispielsweise eine Hand oder ein Finger eines Benutzers, mittels der zweiten Kamera 135 bestimmt werden kann. Durch entsprechende Steuerung der Projektion 140 und Bestimmung der Interaktion des zweiten Objekts 120 mit der Projektion 140 können eines oder mehrere der Küchengeräte 1 10 gesteuert wer- den.
Der Projektor 125, die erste Kamera 130 und die zweite Kamera 135 können auch in einer anderen als der dargestellten Konstellation angeordnet sein. Die erste Kamera 130 ist bevorzugt zur Abtastung eines Bildes im sichtbaren Lichtwellenlängenbereich eingerich- tet. Die zweite Kamera 135 kann eine Tiefenkamera umfassen, die insbesondere in einem unsichtbaren Wellenlängenbereich des Lichts arbeiten kann. Dieser Bereich kann einen Infrarotbereich umfassen. Ein durch die zweite Kamera 135 bereitgestelltes Bild des ers- ten Objekts 1 15 und/oder des zweiten Objekts 120 kann zusätzlich eine Tiefeninformation umfassen. Diese kann etwa auf der Basis der Ausbreitungsgeschwindigkeit von Licht zwi- schen einer eingebauten Lichtquelle und der zweiten Kamera 135 oder mittels Stereosko- pie bestimmt werden.
Die Interaktionseinrichtung 105 umfasst ferner bevorzugt eine Verarbeitungseinrichtung 155, die weiter bevorzugt lokal im Bereich des Projektors 125 und der Kameras 130 und 135 vorgesehen ist. Außerdem kann eine bevorzugt drahtlose Kommunikationsschnittstel- le 160 vorgesehen sein. In einer Ausführungsform ist die Verarbeitungseinrichtung 155 oder eine weitere Verarbeitungseinrichtung 155 kommunikativ über die Kommunikations- Schnittstelle 160 angebunden. In diesem Fall kann die Verarbeitungseinrichtung 155 Teil einer zentralen Stelle 165 sein, die insbesondere als Server oder Dienst, beispielsweise in einer Cloud, ausgebildet sein kann.
Über die Kommunikationsschnittstelle 160 können auch noch weitere Gerätschaften kommunikativ angebunden sein. Beispielsweise kann eine Kommunikation mit einem Ge- rät 170 ermöglicht sein, das etwa als Smart Device einem Benutzer des Systems 100 zugeordnet sein kann. Das Gerät 170 kann zum Beispiel ein Smartphone, ein Tablet oder einen ähnlichen Universalcomputer umfassen.
In noch einer weiteren Ausführungsform ist eine Messeinrichtung 175 vorgesehen, die insbesondere Teil eines Gegenstands sein kann, auf deren Oberfläche 145 die Projektion 140 geworfen wird, beispielsweise einer Arbeitsplatte oder das Arbeitsbrett 150. Die Mes- seinrichtung 175 kann zur Bestimmung einer Menge, insbesondere einer Masse des ers- ten Objekts 1 15 eingerichtet sein. Das Messergebnis kann mittels der Verarbeitungsein- richtung 155 der Interaktionseinrichtung 105 weiterverarbeitet werden.
Es wird vorgeschlagen, die Interaktionseinrichtung 105 nicht nur zur Steuerung eines oder mehrerer der Hausgeräte 1 10 zu verwenden, sondern zusätzlich um das erste Objekt 1 15 zu erkennen und zu verwalten. Die Verwaltung kann insbesondere eine Zuordnung zu einem der Hausgeräte 1 10 oder eine Lager- oder Vorratshaltung umfassen.
Figur 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200. Das Verfahren 200 kann mittels der Interaktionseinrichtung 105 bzw. mittels des Systems 100 durchgeführt werden. Die Schritte des Verfahrens 200 müssen nicht unbedingt in der dargestellten Reihenfolge durchgeführt werden.
In einem ersten Schritt 205 kann die Projektion 140 mittels des Projektors 125 auf der Oberfläche 145 bewirkt werden. Die Projektion 140 kann je nach Anwendungsfall unter- schiedliche optische Informationen umfassen, beispielsweise ein Muster, ein Symbol, eine Steuerfläche oder eine Animation.
In einem Schritt 210 wird das erste Objekt 115 mittels der ersten Kamera 130 abgetastet und es wird ein Bild des ersten Objekts 1 15 bereitgestellt. In einem Schritt 215 kann das erste Objekt 1 15 bestimmt werden. Die Bestimmung kann insbesondere auf der Basis des bereitgestellten Bildes erfolgen. In einer Ausführungsform wird das erste Objekt 115 selbst erkannt, in einer anderen Ausführungsform eine Verpackung des ersten Objekts 1 15 oder ein am ersten Objekt 115 oder an seiner Verpackung angebrachtes Etikett. Das Etikett kann insbesondere eine textuelle Angabe des ersten Objekts 1 15, einen Barcode oder einen QR-Code umfassen.
In einem Schritt 220 wird das zweite Objekt 120 mittels der zweiten Kamera 135 abgetas- tet und eine Interaktion mit der Projektion 140 oder einer über die Projektion 140 ausge- gebenen visuellen Information bestimmt.
Es ist zu beachten, dass das Abtasten des ersten Objekts 1 15 und das Bestimmen der Interaktion des zweiten Objekts 120 mit der Projektion 140 zueinander nebenläufig, von- einander separat oder in unterschiedlichen Graden der gegenseitigen Integration erfolgen kann. Beispielsweise können in einer ersten Variante das erste Objekt 1 15 und das zweite Objekt 120 nacheinander und einzeln abgetastet werden. In einer zweiten Variante kann das erste Objekt 1 15 zusammen mit dem zweiten Objekt 120 mittels der ersten Kamera 130 abgetastet werden, und danach kann die Interaktion des zweiten Objekts 120, mit oder ohne das erste Objekt 1 15, mit der Projektion 140 mittels der zweiten Kamera 135 bestimmt werden. In einer dritten Variante kann auch das erste Objekt 1 15 dazu verwen- det werden, eine Interaktion mit der Projektion 140 auszudrücken. Dazu kann es vom zweiten Objekt 120 geführt werden.
In einem optionalen Schritt 225 kann ein externes Signal empfangen werden, das insbe- sondere von der Messeinrichtung 175 stammen kann. Dazu kann das erste Objekt 115 zunächst der Messeinrichtung 175 zugeführt werden, beispielsweise indem es auf der Oberfläche 145 abgestellt wird. Das Signal weist bevorzugt auf eine Menge (ein Quan- tum) des ersten Objekts 115 hin.
In einem Schritt 230 kann eine Menge des ersten Objekts 115 bestimmt werden. Dabei ist insbesondere diejenige Menge gemeint, die beispielsweise bei einem Kochvorgang oder im Rahmen eines Servierens verbraucht wird und anschließend dem Haushalt nicht mehr zur Verfügung steht. Die Menge kann auf unterschiedliche Weise bestimmt werden. Eine automatisch erkannte Menge muss nicht identisch mit einer tatsächlich verbrauchten Menge sein. In diesem Fall kann eine manuelle Korrektur, insbesondere mittels der Inter- aktionseinrichtung 105 erfolgen. Auch eine Korrektur einer mittels der Messeinrichtung 175 bestimmten Menge kann auf diese Weise erfolgen. In einer weiteren Ausführungs- form kann die Menge geschätzt werden. Umfasst das erste Objekt 1 15 etwa eine Muskat- nuss, von der für die Zubereitung eines Gerichts üblicherweise nur ein kleiner Teil ver- braucht wird, kann ein üblicher oder durchschnittlicher Wert als Menge geschätzt werden.
In einem Schritt 235 kann die solchermaßen bestimmte Information weiterverarbeitet wer- den. Insbesondere kann nachvollzogen werden, welche Menge des ersten Objekts 115 im Haushalt noch vorrätig ist. Erforderlichenfalls kann eine vorbestimmte Menge des ersten Objekts 1 15 auf eine Beschaffungsliste gesetzt werden. Die Beschaffungsliste kann Grundlage einer halbautomatischen oder automatischen Bestellung sein. Die Liste kann auch an das Gerät 170 übermittelt werden, um eine Beschaffung durch einen Benutzer zu ermöglichen. Bezugszeichen
100 System
105 Interaktionseinrichtung
1 10 Hausgerät, Küchengerät
115 erstes Objekt (z. B. Zutat)
120 zweites Objekt (z. B. Hand)
125 Projektor
130 erste Kamera
135 zweite Kamera
140 Projektion
145 Oberfläche
150 Arbeitsbrett
155 Verarbeitungseinrichtung
160 Kommunikationsschnittstelle
165 zentrale Stelle
170 Gerät
175 Messeinrichtung
200 Verfahren
205 Bereitstellen Projektion
210 Abtasten erstes Objekt, Bereitstellen Bild
215 Bestimmen erstes Objekt
220 Abtasten zweites Objekt, Bestimmen Interaktion
225 Erfassen externes Signal
230 Bestimmen Menge
235 Verarbeiten Information

Claims

PATENTANSPRÜCHE
1. Interaktionseinrichtung (105), wobei die Interaktionseinrichtung (105) folgendes um- fasst:
- eine erste Kamera (130) zur Abtastung eines Bildes eines Objekts (1 15, 120);
- einen Projektor (125) zur Bereitstellung einer Projektion (140);
- eine zweite Kamera (135) zur Bestimmung einer Interaktion des Objekts (1 15,
120) mit der Projektion (140);
- eine Verarbeitungseinrichtung (155), die dazu eingerichtet ist, das Objekt (1 15,
120) auf der Basis eines abgetasteten Bildes zu bestimmen.
2. Interaktionseinrichtung (105) nach Anspruch 1 , wobei das Objekt (1 15, 120) eine Zutat umfasst, die bei der Zubereitung einer Speise verbraucht wird.
3. Interaktionseinrichtung (105) nach Anspruch 1 oder 2, wobei das Objekt (1 15, 120) auf der Basis des Bildes bestimmt wird.
4. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei das Objekt (1 15, 120) auf der Basis eines dem Objekt (1 15, 120) anhaftenden Etiketts be- stimmt wird.
5. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei eine Menge des bestimmten Objekts (1 15, 120) auf der Basis des abgetasteten Bildes be- stimmt wird.
6. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei die erste Kamera (130) dazu eingerichtet ist, ein Bild eines ersten Objekts (1 15) zu be- stimmen und die zweite Kamera (135) dazu, eine Interaktion eines zweiten Objekts (120), wobei eine Menge des bestimmten ersten Objekts (1 15) auf der Basis einer In- teraktion des zweiten Objekts (120) mit der Projektion (140) bestimmt wird.
7. Interaktionseinrichtung (105) nach Anspruch 6, wobei die Projektion (140) ein Einga- befeld für eine Mengenangabe umfasst.
8. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei eine Menge des bestimmten Objekts (1 15, 120) mittels einer Messeinrichtung (175) im Be- reich der Projektion (140) bestimmt wird.
9. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, ferner um- fassend eine Kommunikationseinrichtung (160), wobei die Verarbeitungseinrichtung (155) über die Kommunikationseinrichtung (160) angebunden ist.
10. System (100), umfassend eine Interaktionseinrichtung (105) nach Anspruch 9 und eine zentrale Stelle (165) mit einer Kommunikationseinrichtung (160), wobei die zent- rale Stelle (165) dazu eingerichtet ist, Bestimmungen von Objekten (1 15, 120) für eine Vielzahl Interaktionseinrichtungen (105) durchzuführen.
1 1. Verfahren (200), folgende Schritte umfassend:
Bereitstellen (205) einer Projektion (140);
- Abtasten (210, 220) eines Bereichs, in dem die Projektion (140) liegt;
- Abtasten (215) eines Bildes eines ersten Objekts (115) im Bereich der Projektion (140);
Erfassen (220) einer Interaktion eines zweiten Objekts (120) mit der Projektion (140); und
Bestimmen (215) des ersten Objekts (1 15) auf der Basis des abgetasteten Bildes.
12. Verfahren (200) nach Anspruch 11 , wobei die Interaktion auf eine Klasse von Objek- ten (1 15) hinweist und das erste Objekt (1 15) der Klasse zugeordnet wird.
13. Verfahren (200) nach Anspruch 1 1 oder 12, wobei eine vorbestimmte Menge des ers- ten Objekts (115) einer Beschaffungsliste hinzugefügt wird.
EP19753002.5A 2018-08-27 2019-08-06 Interaktionseinrichtung Withdrawn EP3844665A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018214391.9A DE102018214391A1 (de) 2018-08-27 2018-08-27 Interaktionseinrichtung
PCT/EP2019/071072 WO2020043439A1 (de) 2018-08-27 2019-08-06 Interaktionseinrichtung

Publications (1)

Publication Number Publication Date
EP3844665A1 true EP3844665A1 (de) 2021-07-07

Family

ID=67620420

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19753002.5A Withdrawn EP3844665A1 (de) 2018-08-27 2019-08-06 Interaktionseinrichtung

Country Status (3)

Country Link
EP (1) EP3844665A1 (de)
DE (1) DE102018214391A1 (de)
WO (1) WO2020043439A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022111680B3 (de) 2022-05-10 2023-08-24 Beckhoff Automation Gmbh Verfahren zum Betreiben eines Automatisierungssystems, Steuerungssystem und Automatisierungssystem

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559882B1 (en) 1999-09-02 2003-05-06 Ncr Corporation Domestic appliance
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
DE102016100949B4 (de) 2016-01-20 2020-03-26 Vorwerk & Co. Interholding Gmbh Elektrisches Haushaltsgerät und Verfahren zu dessen Steuerung
US20180053263A1 (en) * 2016-08-17 2018-02-22 Wipro Limited Method and system for determination of quantity of food consumed by users

Also Published As

Publication number Publication date
DE102018214391A1 (de) 2020-02-27
WO2020043439A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
EP2783550B1 (de) Konfiguration von betriebsgeräten für leuchtmittel
DE102014101079B4 (de) Verfahren zum Betrieb einer Küchenmaschine und Küchenmaschine
EP2637476B1 (de) Kochfeld
EP3415061B1 (de) Haushaltsgerät
DE102007005484B4 (de) Verfahren zur Auswahl zumindest eines Arbeitsprogramms zur Durchführung in zumindest einem Nahrungsmittelbehandlungsraum
EP3963262A1 (de) Verfahren zum betreiben eines gargeräts und gargerät
WO2015172877A1 (de) Vorrichtung zur bedienung eines elektronischen geräts
WO2016119072A1 (de) Heissgetränkeautomat mit sensor
DE102016107617A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102014200298A1 (de) Verfahren zum Aufbauen einer drahtlosen Kommunikationsverbindung zwischen wenigstens zwei Haushaltsgeräten
DE102017209841A1 (de) Anzeigesystem, Dunstabzug und Verfahren zur Anzeige zumindest eines Zustandes auf einem Kochfeld
DE10353299A1 (de) Verfahren zur Regelung einer Heizeinrichtung zur Nahrungsmittelzubereitung und geeignete Vorrichtung
EP3844665A1 (de) Interaktionseinrichtung
DE102015211425A1 (de) Steuereinheit und Verfahren zur Ermittlung eines Rezeptes
DE102005023468B4 (de) Gargerät
EP2923533B1 (de) Konfiguration von betriebsgeräten für leuchtmittel
DE102015101707B4 (de) Kochsystem und Verfahren zum Betreiben eines Kochsystems
DE102018212441A1 (de) Auftaumatte, Haushaltsgerät mit einer Auftaumatte, Verfahren zum Auftauen und Verfahren zum Zubereiten von Lebensmitteln
EP1498057A1 (de) Verfahren zum Bestimmen von Parametern eines Garprozesses eines Nahrungsmittels und dieses benutzende Steuervorrichtung
EP3762654A1 (de) Interaktionsmodul
DE102011080246A1 (de) Speisenhandhabungs-Küchenutensil
DE102018108017A1 (de) Bewirtungssystem, Gargerät und Verfahren zum Garen eines Produkts
EP4176426A1 (de) Lebensmittelzubereitungsvorrichtung und verfahren zur lebensmittelzubereitung
BE1031026B1 (de) Verfahren zum Betrieb eines Kochsystems sowie Kochfeld und Gargeschirr
BE1030737B1 (de) Verfahren zum Betrieb eines Kochsystems sowie Kochfeld und Gargeschirr

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20210329

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230406

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20230619