DE102018214391A1 - Interaktionseinrichtung - Google Patents

Interaktionseinrichtung Download PDF

Info

Publication number
DE102018214391A1
DE102018214391A1 DE102018214391.9A DE102018214391A DE102018214391A1 DE 102018214391 A1 DE102018214391 A1 DE 102018214391A1 DE 102018214391 A DE102018214391 A DE 102018214391A DE 102018214391 A1 DE102018214391 A1 DE 102018214391A1
Authority
DE
Germany
Prior art keywords
interaction
projection
camera
determined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018214391.9A
Other languages
English (en)
Inventor
Markus Helminger
Gerald Horst
Philipp Kleinlein
Frank Schäfer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Priority to DE102018214391.9A priority Critical patent/DE102018214391A1/de
Priority to PCT/EP2019/071072 priority patent/WO2020043439A1/de
Priority to EP19753002.5A priority patent/EP3844665A1/de
Publication of DE102018214391A1 publication Critical patent/DE102018214391A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Eine Interaktionseinrichtung umfasst einen Projektor zur Bereitstellung einer Projektion; eine erste Kamera zur Bestimmung einer Interaktion eines Objekts mit der Projektion; eine zweite Kamera zur Abtastung eines Bildes des Objekts; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, das Objekt auf der Basis eines abgetasteten Bildes zu bestimmen.

Description

  • Die Erfindung betrifft eine Interaktionseinrichtung für ein Hausgerät. Insbesondere betrifft die Erfindung eine Interaktionseinrichtung zur flexiblen Steuerung eines oder mehrerer Hausgeräte.
  • DE 10 2016 100 949 A1 zeigt ein Haushaltsgerät mit einem Projektor zur Darstellung eines Steuerelements und einer Kamera zur Erfassung einer Interaktion eines Benutzers mit dem Steuerelement. Mittels der Kamera kann außerdem ein Strichcode eines Produkts abgetastet werden, um das Haushaltsgerät für die Verarbeitung des Produkts vorzubereiten.
  • US 6 559 882 B1 schlägt einen Ofen vor, der eine aufzutauende Speise mittels einer Infrarotkamera abtastet und während des Auftauens ein Wärmebild der Speise bereitstellt. Die Kamera kann auch einen Barcode einer Speise abtasten oder die Speise selbst erkennen, um das Auftauen zu steuern.
  • Die bekannten Techniken erlauben üblicherweise eine Verbindung zwischen einem erkannten Objekt und einer einzigen, isolierten Applikation. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Interaktionseinrichtung. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
  • Eine Interaktionseinrichtung umfasst einen Projektor zur Bereitstellung einer Projektion; eine erste Kamera zur Bestimmung einer Interaktion eines Objekts mit der Projektion; eine zweite Kamera zur Abtastung eines Bildes des Objekts; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, das Objekt auf der Basis eines abgetasteten Bildes zu bestimmen.
  • Die Erkennung des Objekts kann dadurch verbessert zentral erfolgen und eines oder mehrere Hausgeräte, insbesondere Küchengeräte, können einen Hinweis auf das erfasste Objekt zur Verfügung gestellt bekommen oder in Abhängigkeit des erfassten Objekts gesteuert werden. Eine Integration oder Konzertierung mehrerer Hausgeräte, insbesondere Küchengeräte, kann dadurch verbessert werden.
  • Das Objekt kann insbesondere eine Zutat umfassen, die bei der Zubereitung einer Speise verbraucht wird. Die Zutat als Objekt kann dabei nacheinander oder auch gleichzeitig verschiedenen Küchengeräten zugeordnet sein. Beispielsweise kann die Zutat zunächst in einem Vorratsschrank, einem Kühlschrank oder einem Gefrierfach aufgehoben sein. Sie kann dann von einem Benutzer entnommen und auf der Basis eines Rezepts etwa mittels eines Mixers oder einer Rührmaschine verarbeitet werden. Danach kann die Zutat zusammen mit anderen Zutaten beispielsweise in einem Ofen oder auf einem Herd gegart werden. Die genannten Küchengeräte oder auch andere Küchengeräte können in Abhängigkeit des erkannten Objekts verbessert gesteuert werden. Insbesondere kann eine Inventarisierung von in einem Haushalt vorhandenen Objekten durch die zentrale Objekterkennung mittels der Interaktionseinrichtung verbessert unterstützt werden.
  • Das Objekt kann auf unterschiedliche Weise bestimmt werden. In einer ersten Variante wird das Objekt auf der Basis des Bildes bestimmt. Dazu können beispielsweise ein Umriss, eine Form, eine Größe, eine Farbe oder eine Textur des Objekts auf dem Bild erkannt und mit Referenzdaten verglichen werden. Dabei kann das Objekt einer Klasse von Objekten zugeordnet werden, der weitere Informationen zugeordnet sein können, beispielsweise ein Preis, ein Gehalt eines Nährstoffs oder eine übliche Haltbarkeitsdauer. So können insbesondere unverpackte Produkte verbessert bestimmt werden.
  • In einer zweiten Variante wird das Objekt auf der Basis eines dem Objekt anhaftenden Etiketts bestimmt. Das Etikett kann insbesondere an einer Verpackung des Objekts angebracht sein. In einer weiteren Variante kann auch die Verpackung selbst erkannt werden. Die Verpackung oder das Etikett können mit insbesondere aufgedruckten Informationen versehen sein, die beispielsweise textuell, numerisch oder alphanumerisch einen Hinweis auf das Objekt liefern können. Das Objekt kann auch auf der Basis eines Logos oder Warenzeichens auf dem Etikett oder der Verpackung bestimmt werden. In noch einer weiteren Ausführungsform ist eine maschinenlesbare Kennung auf dem Objekt, der Verpackung oder dem Etikett angebracht. Diese Kennung kann beispielsweise einen Strichcode oder einen QR-Code (zweidimensionaler Rastercode) umfassen. Die codierten Informationen können unmittelbar oder mittels Zuordnung durch eine Datenbank auf das Objekt und optional weitere Informationen abgebildet werden, die dem Objekt zugeordnet sein können.
  • Es ist weiter bevorzugt, dass durch die Interaktionseinrichtung eine Menge des bestimmten Objekts bestimmt wird. Dazu sind unterschiedliche Ausführungsformen möglich. Allen Ausführungsformen ist gemeinsam, dass die Menge in beliebigen Einheiten bestimmt werden kann, die auf das Objekt anwendbar sind, beispielsweise als Längen-, Flächen- oder Hohlmaß, Anzahl oder Gewicht. Weitere Einheiten sind ebenfalls möglich.
  • In einer ersten Ausführungsform wird die Menge des bestimmten Objekts auf der Basis des abgetasteten Bildes bestimmt. Dazu können beispielsweise eine Form, eine Farbe, eine Größe oder eine Textur des Objekts aus dem Bild entnommen und auf der Basis zuvor bestimmter Informationen einem Objekt zugeordnet werden.
  • In einer zweiten Ausführungsform wird zwischen zwei unterschiedlichen Objekten differenziert. Die erste Kamera ist dabei dazu eingerichtet, ein Bild des genannten, ersten Objekts zu bestimmen, während die zweite Kamera dazu eingerichtet ist, eine Interaktion eines zweiten, anderen Objekts mit der Projektion zu erfassen. Eine Menge des bestimmten ersten Objekts kann dann auf der Basis der Interaktion bestimmt werden.
  • Das zweite Objekt kann insbesondere eine Hand oder ein anderes Körperteil eines Benutzers umfassen. Eine Angabe der Menge kann durch den Benutzer erfolgen, indem dieser beispielsweise eine vorbestimmte Geste macht oder mit der Projektion interagiert. Die Objekte können gleichzeitig oder nacheinander erfasst werden.
  • In einer Fortbildung dieser Ausführungsform umfasst die Projektion ein Eingabefeld für eine Mengenangabe. Die Mengenangabe kann beispielsweise numerisch mittels eines Ziffernfelds erfolgen. Alternativ kann eine analoge Eingabe unterstützt werden, bei der beispielsweise ein Schiebe- oder Drehregler durch einen Benutzer verändert werden kann. Auch ein symbolisches Eingabefeld kann bereitgestellt sein, insbesondere für schwer zu quantifizierende Mengen wie einen Spritzer oder eine Prise. Zusätzlich kann ein Eingabefeld für eine Einheit vorgesehen sein. Einheiten der Angaben können variabel sein, um etwa ein metrisches, ein angloamerikanisches oder ein anderes Maßsystem zu unterstützen. Beispielsweise können auch Küchenmaße unterstützt werden, die Angaben wie einen Teelöffel, einen Esslöffel, eine Messerspitze, ein Weinglas, eine Tasse, ein Gros, ein Schock oder ein Eischwer umfassen.
  • In einer dritten Ausführungsform wird die Menge des bestimmten Objekts mittels einer Messeinrichtung im Bereich der Projektion bestimmt. Die Messeinrichtung kann insbesondere eine Waage umfassen, die beispielsweise in ein Objekt wie eine Arbeitsplatte oder ein Arbeitsbrett eingelassen sein kann. Die Waage kann auch Teil eines Kochgeschirrs oder Kochbestecks sein. Eine Übertragung des durch die Waage bestimmten Messwerts an die Interaktionseinrichtung erfolgt bevorzugt drahtlos.
  • Die Verarbeitungseinrichtung der Interaktionseinrichtung kann ortsunabhängig vorgesehen und durch eine insbesondere drahtlose Kommunikationseinrichtung an andere Komponenten angebunden sein. Insbesondere kann die Verarbeitungseinrichtung als Server oder Dienst, beispielsweise in einer Cloud, realisiert sein.
  • Ein System umfasst eine hierin beschriebene Interaktionseinrichtung und eine zentrale Stelle mit einer Kommunikationseinrichtung. Dabei ist die zentrale Stelle dazu eingerichtet, Bestimmungen von Objekten für eine Vielzahl Interaktionseinrichtungen durchzuführen. Verarbeitungs- oder Speicherressourcen der zentralen Stelle können dadurch einer Vielzahl Interaktionseinrichtungen bereitgestellt werden. Darüber hinaus kann eine Datensammlung über Objekte verbessert vorgehalten werden, um einem zu erkennenden oder erkannten Objekt ein Attribut zuzuordnen. Die Zuordnung kann insbesondere in dieser Variante verbessert lernfähig ausgeführt werden, indem eine große Vielzahl Abtastungen und Bestimmungen von Objekten durchgeführt werden können, deren Erfolg oder Misserfolg bestimmt und zur zukünftigen Verwendung abgelegt werden können.
  • Ein Verfahren umfasst Schritte des Bereitstellens einer Projektion; des Abtastens eines Bereichs, in welchem die Projektion liegt; des Abtastens eines Bildes eines ersten Objekts im Bereich der Projektion; des Erfassens einer Interaktion eines zweiten Objekts mit der Projektion; und des Bestimmens des ersten Objekts auf der Basis des abgetasteten Bildes.
  • Das Verfahren kann insbesondere mittels einer hierin beschriebenen Interaktionseinrichtung oder eines hierin beschriebenen Systems teilweise oder vollständig durchgeführt werden. Dazu kann das Verfahren insbesondere in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen und eine Verarbeitungseinrichtung der Interaktionseinrichtung oder des Systems kann als programmierbarer Mikrocomputer oder Mikrocontroller ausgeführt sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung oder das System übertragen werden und umgekehrt.
  • In einer Variante weist die Interaktion auf eine Klasse von Objekten hin, wobei das erste Objekt der Klasse zugeordnet wird. Beispielsweise können unterschiedliche Gurken einer Klasse zugeordnet werden, die verschiedene Gurken umfasst. Eine relativ geringe Anzahl manueller Eingaben kann ausreichen, um ausreichend Referenzdaten bereitzustellen, sodass weitere Objekte der gleichen Klasse automatisch erkannt werden können.
  • In einer weiter bevorzugten Ausführungsform kann eine Menge des bestimmten ersten Objekts von einer Inventarliste entfernt werden. Die Inventarliste kann insbesondere eine Liste verfügbarer Vorräte eines Haushalts umfassen. Die Vorräte umfassen bevorzugt Zutaten oder Verbrauchsmaterial, das für die Zubereitung einer Speise verbraucht werden kann.
  • Bestimmte Mengen des bestimmten ersten Objekts können auch zu einer Beschaffungsliste hinzugefügt werden. Die Beschaffungsliste kann wahlweise an ein mobiles Gerät eines Benutzers, beispielsweise an ein Smartphone, übermittelt werden. Alternativ kann die Beschaffungsliste auch beispielsweise an einen zentralen Speicherort wie auf einem Server oder in einer Cloud für den Abruf durch einen Benutzer bereitgestellt werden. In noch einer weiteren Ausführungsform wird erst dann eine vorbestimmte Menge des ersten Objekts der Beschaffungsliste hinzugefügt, wenn zuvor eine weitere vorbestimmte Menge des ersten Objekts verbraucht wurde. In einer Erweiterung kann auf der Basis der Beschaffungsliste auch eine teil- oder vollautomatische Bestellung eines oder mehrerer erster Objekt gesteuert werden.
  • Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
  • Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:
    • 1 ein System mit einer Interaktionseinrichtung; und
    • 2 ein Ablaufdiagramm eines Verfahrens
    darstellt.
  • 1 zeigt ein System 100 mit einer Interaktionseinrichtung 105. Die Interaktionseinrichtung 105 ist bevorzugt in einem Haushalt, weiter bevorzugt in einer Küche des Haushalts angeordnet. Eine Aufgabe der Interaktionseinrichtung 105 besteht bevorzugt in der Steuerung eines oder mehrerer Hausgeräte 110, die insbesondere ein Küchengerät umfassen können. Dazu kann die Interaktionseinrichtung 105 ein erstes Objekt 115 und/oder ein zweites Objekt 120 optisch abtasten. Die beiden Objekte 115, 120 können miteinander identisch oder voneinander verschieden sein. Sind sie voneinander verschieden, so ist bevorzugt, dass das erste Objekt 115 ein Lebensmittel, eine Zutat oder einen ähnlichen Verbrauchsgegenstand eines Haushalts umfasst, während das zweite Objekt 120 bevorzugt ein Körperteil eines Benutzers, insbesondere eine Hand, oder eine benutzergesteuerte Zeigeeinrichtung umfasst.
  • Die Interaktionseinrichtung 105 umfasst einen Projektor 125, eine erste Kamera 130 und eine zweite Kamera 135. Der Projektor 125 ist dazu eingerichtet, eine Projektion 140 auf eine Oberfläche 145 zu werfen. Die Oberfläche 145 kann insbesondere die einer Arbeitsfläche oder eines Arbeitsbretts 150 sein. Dabei ist die Interaktionseinrichtung 105 bevorzugt vertikal über der Oberfläche 145 angebracht und nach unten gerichtet. Insbesondere kann die Interaktionseinrichtung 105 im Bereich eines Oberschranks oder einer Dunstabzugshaube angeordnet sein. In einer weiteren Ausführung kann auch eine schräge oder seitliche Ausrichtung der Interaktionseinrichtung 105 bezüglich einer üblichen Position eines Benutzers an der Arbeitsfläche vorgesehen sein. Dabei kann die Oberfläche 145 auch beispielsweise eine Seitenwand eines Küchenmöbels oder eine Wand eines Zimmers in einem Haushalt umfassen. Andere Oberflächen 145 können ebenfalls verwendet werden.
  • Die erste Kamera 130 ist dazu eingerichtet, ein Bild des ersten Objekts 115, und die zweite Kamera 135 dazu, eine Interaktion des zweiten Objekts 120 mit der Projektion 140 zu bestimmen. Insbesondere kann die Projektion 140 eine Steuerfläche umfassen, deren Berührung durch das zweite Objekt 120, beispielsweise eine Hand oder ein Finger eines Benutzers, mittels der zweiten Kamera 135 bestimmt werden kann. Durch entsprechende Steuerung der Projektion 140 und Bestimmung der Interaktion des zweiten Objekts 120 mit der Projektion 140 können eines oder mehrere der Küchengeräte 110 gesteuert werden.
  • Der Projektor 125, die erste Kamera 130 und die zweite Kamera 135 können auch in einer anderen als der dargestellten Konstellation angeordnet sein. Die erste Kamera 130 ist bevorzugt zur Abtastung eines Bildes im sichtbaren Lichtwellenlängenbereich eingerichtet. Die zweite Kamera 135 kann eine Tiefenkamera umfassen, die insbesondere in einem unsichtbaren Wellenlängenbereich des Lichts arbeiten kann. Dieser Bereich kann einen Infrarotbereich umfassen. Ein durch die zweite Kamera 135 bereitgestelltes Bild des ersten Objekts 115 und/oder des zweiten Objekts 120 kann zusätzlich eine Tiefeninformation umfassen. Diese kann etwa auf der Basis der Ausbreitungsgeschwindigkeit von Licht zwischen einer eingebauten Lichtquelle und der zweiten Kamera 135 oder mittels Stereoskopie bestimmt werden.
  • Die Interaktionseinrichtung 105 umfasst ferner bevorzugt eine Verarbeitungseinrichtung 155, die weiter bevorzugt lokal im Bereich des Projektors 125 und der Kameras 130 und 135 vorgesehen ist. Außerdem kann eine bevorzugt drahtlose Kommunikationsschnittstelle 160 vorgesehen sein. In einer Ausführungsform ist die Verarbeitungseinrichtung 155 oder eine weitere Verarbeitungseinrichtung 155 kommunikativ über die Kommunikationsschnittstelle 160 angebunden. In diesem Fall kann die Verarbeitungseinrichtung 155 Teil einer zentralen Stelle 165 sein, die insbesondere als Server oder Dienst, beispielsweise in einer Cloud, ausgebildet sein kann.
  • Über die Kommunikationsschnittstelle 160 können auch noch weitere Gerätschaften kommunikativ angebunden sein. Beispielsweise kann eine Kommunikation mit einem Gerät 170 ermöglicht sein, das etwa als Smart Device einem Benutzer des Systems 100 zugeordnet sein kann. Das Gerät 170 kann zum Beispiel ein Smartphone, ein Tablet oder einen ähnlichen Universalcomputer umfassen.
  • In noch einer weiteren Ausführungsform ist eine Messeinrichtung 175 vorgesehen, die insbesondere Teil eines Gegenstands sein kann, auf deren Oberfläche 145 die Projektion 140 geworfen wird, beispielsweise einer Arbeitsplatte oder das Arbeitsbrett 150. Die Messeinrichtung 175 kann zur Bestimmung einer Menge, insbesondere einer Masse des ersten Objekts 115 eingerichtet sein. Das Messergebnis kann mittels der Verarbeitungseinrichtung 155 der Interaktionseinrichtung 105 weiterverarbeitet werden.
  • Es wird vorgeschlagen, die Interaktionseinrichtung 105 nicht nur zur Steuerung eines oder mehrerer der Hausgeräte 110 zu verwenden, sondern zusätzlich um das erste Objekt 115 zu erkennen und zu verwalten. Die Verwaltung kann insbesondere eine Zuordnung zu einem der Hausgeräte 110 oder eine Lager- oder Vorratshaltung umfassen.
  • 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200. Das Verfahren 200 kann mittels der Interaktionseinrichtung 105 bzw. mittels des Systems 100 durchgeführt werden. Die Schritte des Verfahrens 200 müssen nicht unbedingt in der dargestellten Reihenfolge durchgeführt werden.
  • In einem ersten Schritt 205 kann die Projektion 140 mittels des Projektors 125 auf der Oberfläche 145 bewirkt werden. Die Projektion 140 kann je nach Anwendungsfall unterschiedliche optische Informationen umfassen, beispielsweise ein Muster, ein Symbol, eine Steuerfläche oder eine Animation.
  • In einem Schritt 210 wird das erste Objekt 115 mittels der ersten Kamera 130 abgetastet und es wird ein Bild des ersten Objekts 115 bereitgestellt. In einem Schritt 215 kann das erste Objekt 115 bestimmt werden. Die Bestimmung kann insbesondere auf der Basis des bereitgestellten Bildes erfolgen. In einer Ausführungsform wird das erste Objekt 115 selbst erkannt, in einer anderen Ausführungsform eine Verpackung des ersten Objekts 115 oder ein am ersten Objekt 115 oder an seiner Verpackung angebrachtes Etikett. Das Etikett kann insbesondere eine textuelle Angabe des ersten Objekts 115, einen Barcode oder einen QR-Code umfassen.
  • In einem Schritt 220 wird das zweite Objekt 120 mittels der zweiten Kamera 135 abgetastet und eine Interaktion mit der Projektion 140 oder einer über die Projektion 140 ausgegebenen visuellen Information bestimmt.
  • Es ist zu beachten, dass das Abtasten des ersten Objekts 115 und das Bestimmen der Interaktion des zweiten Objekts 120 mit der Projektion 140 zueinander nebenläufig, voneinander separat oder in unterschiedlichen Graden der gegenseitigen Integration erfolgen kann. Beispielsweise können in einer ersten Variante das erste Objekt 115 und das zweite Objekt 120 nacheinander und einzeln abgetastet werden. In einer zweiten Variante kann das erste Objekt 115 zusammen mit dem zweiten Objekt 120 mittels der ersten Kamera 130 abgetastet werden, und danach kann die Interaktion des zweiten Objekts 120, mit oder ohne das erste Objekt 115, mit der Projektion 140 mittels der zweiten Kamera 135 bestimmt werden. In einer dritten Variante kann auch das erste Objekt 115 dazu verwendet werden, eine Interaktion mit der Projektion 140 auszudrücken. Dazu kann es vom zweiten Objekt 120 geführt werden.
  • In einem optionalen Schritt 225 kann ein externes Signal empfangen werden, das insbesondere von der Messeinrichtung 175 stammen kann. Dazu kann das erste Objekt 115 zunächst der Messeinrichtung 175 zugeführt werden, beispielsweise indem es auf der Oberfläche 145 abgestellt wird. Das Signal weist bevorzugt auf eine Menge (ein Quantum) des ersten Objekts 115 hin.
  • In einem Schritt 230 kann eine Menge des ersten Objekts 115 bestimmt werden. Dabei ist insbesondere diejenige Menge gemeint, die beispielsweise bei einem Kochvorgang oder im Rahmen eines Servierens verbraucht wird und anschließend dem Haushalt nicht mehr zur Verfügung steht. Die Menge kann auf unterschiedliche Weise bestimmt werden. Eine automatisch erkannte Menge muss nicht identisch mit einer tatsächlich verbrauchten Menge sein. In diesem Fall kann eine manuelle Korrektur, insbesondere mittels der Interaktionseinrichtung 105 erfolgen. Auch eine Korrektur einer mittels der Messeinrichtung 175 bestimmten Menge kann auf diese Weise erfolgen. In einer weiteren Ausführungsform kann die Menge geschätzt werden. Umfasst das erste Objekt 115 etwa eine Muskatnuss, von der für die Zubereitung eines Gerichts üblicherweise nur ein kleiner Teil verbraucht wird, kann ein üblicher oder durchschnittlicher Wert als Menge geschätzt werden.
  • In einem Schritt 235 kann die solchermaßen bestimmte Information weiterverarbeitet werden. Insbesondere kann nachvollzogen werden, welche Menge des ersten Objekts 115 im Haushalt noch vorrätig ist. Erforderlichenfalls kann eine vorbestimmte Menge des ersten Objekts 115 auf eine Beschaffungsliste gesetzt werden. Die Beschaffungsliste kann Grundlage einer halbautomatischen oder automatischen Bestellung sein. Die Liste kann auch an das Gerät 170 übermittelt werden, um eine Beschaffung durch einen Benutzer zu ermöglichen.
  • Bezugszeichenliste
  • 100
    System
    105
    Interaktionseinrichtung
    110
    Hausgerät, Küchengerät
    115
    erstes Objekt (z. B. Zutat)
    120
    zweites Objekt (z. B. Hand)
    125
    Projektor
    130
    erste Kamera
    135
    zweite Kamera
    140
    Projektion
    145
    Oberfläche
    150
    Arbeitsbrett
    155
    Verarbeitungseinrichtung
    160
    Kommunikationsschnittstelle
    165
    zentrale Stelle
    170
    Gerät
    175
    Messeinrichtung
    200
    Verfahren
    205
    Bereitstellen Projektion
    210
    Abtasten erstes Objekt, Bereitstellen Bild
    215
    Bestimmen erstes Objekt
    220
    Abtasten zweites Objekt, Bestimmen Interaktion
    225
    Erfassen externes Signal
    230
    Bestimmen Menge
    235
    Verarbeiten Information
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102016100949 A1 [0002]
    • US 6559882 B1 [0003]

Claims (13)

  1. Interaktionseinrichtung (105), wobei die Interaktionseinrichtung (105) folgendes umfasst: - eine erste Kamera (130) zur Abtastung eines Bildes eines Objekts (115, 120); - einen Projektor (125) zur Bereitstellung einer Projektion (140); - eine zweite Kamera (135) zur Bestimmung einer Interaktion des Objekts (115, 120) mit der Projektion (140); - eine Verarbeitungseinrichtung (155), die dazu eingerichtet ist, das Objekt (115, 120) auf der Basis eines abgetasteten Bildes zu bestimmen.
  2. Interaktionseinrichtung (105) nach Anspruch 1, wobei das Objekt (115, 120) eine Zutat umfasst, die bei der Zubereitung einer Speise verbraucht wird.
  3. Interaktionseinrichtung (105) nach Anspruch 1 oder 2, wobei das Objekt (115, 120) auf der Basis des Bildes bestimmt wird.
  4. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei das Objekt (115, 120) auf der Basis eines dem Objekt (115, 120) anhaftenden Etiketts bestimmt wird.
  5. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei eine Menge des bestimmten Objekts (115, 120) auf der Basis des abgetasteten Bildes bestimmt wird.
  6. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei die erste Kamera (130) dazu eingerichtet ist, ein Bild eines ersten Objekts (115) zu bestimmen und die zweite Kamera (135) dazu, eine Interaktion eines zweiten Objekts (120), wobei eine Menge des bestimmten ersten Objekts (115) auf der Basis einer Interaktion des zweiten Objekts (120) mit der Projektion (140) bestimmt wird.
  7. Interaktionseinrichtung (105) nach Anspruch 6, wobei die Projektion (140) ein Eingabefeld für eine Mengenangabe umfasst.
  8. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, wobei eine Menge des bestimmten Objekts (115, 120) mittels einer Messeinrichtung (175) im Bereich der Projektion (140) bestimmt wird.
  9. Interaktionseinrichtung (105) nach einem der vorangehenden Ansprüche, ferner umfassend eine Kommunikationseinrichtung (160), wobei die Verarbeitungseinrichtung (155) über die Kommunikationseinrichtung (160) angebunden ist.
  10. System (100), umfassend eine Interaktionseinrichtung (105) nach Anspruch 9 und eine zentrale Stelle (165) mit einer Kommunikationseinrichtung (160), wobei die zentrale Stelle (165) dazu eingerichtet ist, Bestimmungen von Objekten (115, 120) für eine Vielzahl Interaktionseinrichtungen (105) durchzuführen.
  11. Verfahren (200), folgende Schritte umfassend: - Bereitstellen (205) einer Projektion (140); - Abtasten (210, 220) eines Bereichs, in dem die Projektion (140) liegt; - Abtasten (215) eines Bildes eines ersten Objekts (115) im Bereich der Projektion (140); - Erfassen (220) einer Interaktion eines zweiten Objekts (120) mit der Projektion (140); und - Bestimmen (215) des ersten Objekts (115) auf der Basis des abgetasteten Bildes.
  12. Verfahren (200) nach Anspruch 11, wobei die Interaktion auf eine Klasse von Objekten (115) hinweist und das erste Objekt (115) der Klasse zugeordnet wird.
  13. Verfahren (200) nach Anspruch 11 oder 12, wobei eine vorbestimmte Menge des ersten Objekts (115) einer Beschaffungsliste hinzugefügt wird.
DE102018214391.9A 2018-08-27 2018-08-27 Interaktionseinrichtung Withdrawn DE102018214391A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102018214391.9A DE102018214391A1 (de) 2018-08-27 2018-08-27 Interaktionseinrichtung
PCT/EP2019/071072 WO2020043439A1 (de) 2018-08-27 2019-08-06 Interaktionseinrichtung
EP19753002.5A EP3844665A1 (de) 2018-08-27 2019-08-06 Interaktionseinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018214391.9A DE102018214391A1 (de) 2018-08-27 2018-08-27 Interaktionseinrichtung

Publications (1)

Publication Number Publication Date
DE102018214391A1 true DE102018214391A1 (de) 2020-02-27

Family

ID=67620420

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018214391.9A Withdrawn DE102018214391A1 (de) 2018-08-27 2018-08-27 Interaktionseinrichtung

Country Status (3)

Country Link
EP (1) EP3844665A1 (de)
DE (1) DE102018214391A1 (de)
WO (1) WO2020043439A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022111680B3 (de) 2022-05-10 2023-08-24 Beckhoff Automation Gmbh Verfahren zum Betreiben eines Automatisierungssystems, Steuerungssystem und Automatisierungssystem

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559882B1 (en) 1999-09-02 2003-05-06 Ncr Corporation Domestic appliance
WO2015125017A2 (en) * 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen
DE102016100949B4 (de) 2016-01-20 2020-03-26 Vorwerk & Co. Interholding Gmbh Elektrisches Haushaltsgerät und Verfahren zu dessen Steuerung
US20180053263A1 (en) * 2016-08-17 2018-02-22 Wipro Limited Method and system for determination of quantity of food consumed by users

Also Published As

Publication number Publication date
WO2020043439A1 (de) 2020-03-05
EP3844665A1 (de) 2021-07-07

Similar Documents

Publication Publication Date Title
EP3654815B1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
EP3250093B1 (de) Heissgetränkeautomat mit sensor
WO2017085018A1 (de) System mit getränkezubereitungsmaschine, verfahren und computerprogramm zu dessen ansteuerung
EP3730005B1 (de) Verfahren zur generierung zumindest eines rezeptvorschlags, küchengerät sowie system zum zubereiten von speisen
DE102014101079A1 (de) Verfahren zum Betrieb einer Küchenmaschine und Küchenmaschine
EP3415061A1 (de) Haushaltsgerät
DE102018221749A1 (de) Backofen und Steuerverfahren
WO2016142415A2 (de) Verfahren und system mit einer steuerung für die zubereitung von speisen
WO2016206889A1 (de) Steuereinheit und verfahren zur ermittlung eines rezeptes
DE102017209841A1 (de) Anzeigesystem, Dunstabzug und Verfahren zur Anzeige zumindest eines Zustandes auf einem Kochfeld
WO2017182074A1 (de) System zur zubereitung von mindestens einem nahrungsmittel sowie verfahren zum betreiben des betreffenden systems
DE102018214391A1 (de) Interaktionseinrichtung
EP2923533B1 (de) Konfiguration von betriebsgeräten für leuchtmittel
DE10332021B3 (de) Verfahren zum Bestimmen von Parametern eines Garprozesses eines Nahrungsmittels und dieses benutzende Steuervorrichtung
DE102016116367A1 (de) Verfahren zur Objekterfassung
WO2019170447A1 (de) Interaktionsmodul
WO2021037562A1 (de) Bestimmen einer empfehlung für eine speise
DE102011001066B4 (de) Verfahren zum Auswählen von Garprogrammen
DE202009010815U1 (de) Automatisches Restaurant
DE102018108017A1 (de) Bewirtungssystem, Gargerät und Verfahren zum Garen eines Produkts
DE102011080246A1 (de) Speisenhandhabungs-Küchenutensil
DE102019117823B4 (de) Verfahren zur Wiegegutanalyse, System aus Waage und mit einem Datenverarbeitungsgerät zusammenwirkenden optischen Erkennungsmitteln und Datenverarbeitungsprogramm zur Wiegegutanalyse
DE102017220314A1 (de) Lagerung einer Ware mit begrenzter Haltbarkeit
DE102017118024A1 (de) Verfahren zum Spülen von Kochutensilien
EP3524888B1 (de) Verfahren zum steuern eines gargerätes sowie gargerät

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee