DE102015214060A1

DE102015214060A1 - System und Verfahren zur Bereitstellung eines Rezeptes

Info

Publication number: DE102015214060A1
Application number: DE102015214060.1A
Authority: DE
Inventors: Duc Hanh Bui Tran; Thomas Garbe; Wesley de Goei
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2017-01-26
Also published as: US20180211139A1; CN107851183A; WO2017016886A1; US10733479B2; EP3326109A1

Abstract

Es wird ein Verfahren 200 zur Ermittlung eines Rezeptes 134 für ein bereits hergestelltes Nahrungsmittel 101 beschrieben. Das Verfahren 200 umfasst das Ermitteln 201 von Bilddaten 131, die das bereits hergestellte Nahrungsmittel 101 anzeigen. Außerdem umfasst das Verfahren 200 das Ermitteln 202 eines Rezeptes 134 in Abhängigkeit von den Bilddaten 131.

Description

Die Erfindung betrifft ein (insbesondere Computer-implementiertes) Verfahren und ein entsprechendes System zur Ermittlung eines Rezeptes.
Insbesondere auf Urlaubsreisen kann es vorkommen, dass man fertig zubereitete Nahrungsmittel isst, die man nicht kennt. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein unbekanntes Nahrungsmittel in effizienter und zuverlässiger Weise zu identifizieren und ein Rezept mit Zutaten und Herstellungsschritten für das unbekannte Nahrungsmittel zu ermitteln.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind u.a. in den abhängigen Patentansprüchen und nachfolgender Beschreibung beschrieben sowie in der beigefügten Zeichnung dargestellt.
Gemäß einem Aspekt wird ein Verfahren zur Ermittlung eines Rezeptes für ein bereits hergestelltes bzw. bereits zubereitetes Nahrungsmittel beschrieben. Das Verfahren kann von einem Prozessor, z.B. dem Prozessor eines elektronischen Geräts, etwa eines Smartphones, oder eines Computers, ausgeführt werden. Das bereits hergestellte Nahrungsmittel umfasst dabei typischerweise eine Vielzahl von unterschiedlichen Zutaten, die im Rahmen eines Herstellungsprozesses verarbeitet werden, um das Nahrungsmittel herzustellen. Im Rahmen des Herstellungsprozesses kann das Nahrungsmittel gegart, insbesondere gekocht, gebraten, gegrillt und/oder gebacken, worden sein.
Das zu ermittelnde Rezept kann eine Vielzahl von Zutaten zur Herstellung eines Nahrungsmittels, sowie Mengenangaben für die Vielzahl von Zutaten anzeigen. Des Weiteren kann das zu ermittelnde Rezept Prozessschritte eines Herstellungsprozesses des Nahrungsmittels anzeigen. Dabei soll das zu ermittelnde Rezept mit einer möglichst hohen Wahrscheinlichkeit dem Rezept entsprechen, das für die Herstellung des bereits hergestellten Nahrungsmittels verwendet wurde.
Das Verfahren umfasst das Ermitteln von Bilddaten, die das bereits hergestellte Nahrungsmittel anzeigen. Die (insbesondere digitalen) Bilddaten können anhand eines Fotos des bereits hergestellten Nahrungsmittels ermittelt werden. Insbesondere können die Bilddaten einzelne Bildpunkte bzw. Pixel eines Fotos des Nahrungsmittels umfassen.
Des Weiteren umfasst das Verfahren das Ermitteln eines Rezeptes in Abhängigkeit von den Bilddaten. Durch die Auswertung von Bilddaten, die das bereits hergestellte Nahrungsmittel anzeigen, können in effizienter Weise ein Rezept bzw. ein Rezeptvorschlag ermittelt werden, das oder der mit einer bestimmten Wahrscheinlichkeit für die Herstellung des bereits hergestellten Nahrungsmittels verwendet wurde. Ggf. kann ein Relevanz-Wert für das ermittelte Rezept ermittelt und angezeigt werden, um dem Nutzer die Wahrscheinlichkeit anzuzeigen, mit der das ermittelte Rezept für die Herstellung des bereits hergestellten Nahrungsmittels verwendet wurde.
Das Ermitteln eines Rezeptes kann das Ermitteln (mindestens) eines Nahrungsmittel-Kandidaten auf Basis der Bilddaten umfassen. Mit anderen Worten, auf Basis der Bilddaten kann ein Nahrungsmittel-Kandidat bestimmt werden, der mit einer bestimmten Wahrscheinlichkeit dem bereits hergestellten Nahrungsmittel entspricht. Insbesondere kann der Nahrungsmittel-Kandidat aus einer Vielzahl von (gegebenenfalls vorbestimmten) Nahrungsmittel-Kandidaten ermittelt werden, der mit der relativ höchsten Wahrscheinlichkeit (relativ zu den anderen Kandidaten der Vielzahl von Nahrungsmittel-Kandidaten) dem bereits hergestellten Nahrungsmittel entspricht. Das Rezept, welches einem Nutzer als mögliches Rezept für das bereits hergestellte Nahrungsmittel bereitgestellt wird, kann dann ein Rezept zur Herstellung des Nahrungsmittel-Kandidaten sein. Dieses Rezept kann z.B. aus einer Rezept-Datenbank entnommen werden, wobei die Rezept-Datenbank für eine Vielzahl von Nahrungsmittel-Kandidaten eine entsprechende Vielzahl von Rezepten umfasst. Durch die Ermittlung eines Nahrungsmittel-Kandidaten kann in robuster Weise ein möglichst wahrscheinliches bzw. relevantes Rezept für das bereits hergestellte Nahrungsmittel ermittelt werden.
Das Verfahren kann das Ermitteln einer Vielzahl von Nahrungsmittel-Kandidaten umfassen. Des Weiteren kann eine entsprechende Vielzahl von Relevanz-Werten für die Vielzahl von Nahrungsmittel-Kandidaten ermittelt werden. Dabei kann der Relevanz-Wert eines Nahrungsmittel-Kandidaten eine Wahrscheinlichkeit dafür anzeigen, dass der Nahrungsmittel-Kandidat dem bereits hergestellten Nahrungsmittel entspricht. Des Weiteren kann eine Vielzahl von Rezepten für die Vielzahl von Nahrungsmittel-Kandidaten ermittelt werden (z.B. durch Zugriff auf die Rezept-Datenbank). Es kann dann eine Vielzahl von möglichen Rezepten für das bereits hergestellte Nahrungsmittel bereitgestellt (und ggf. angezeigt) werden. Die Vielzahl von Rezepten kann dabei in Abhängigkeit von der entsprechenden Vielzahl von Relevanz-Werten (z.B. sortiert nach absteigenden Relevanz-Werten) bereitgestellt werden. Durch die Ermittlung einer Vielzahl von möglichen Rezepten kann die Robustheit der Ermittlung eines Rezeptes weiter erhöht werden.
Das Ermitteln eines Nahrungsmittel-Kandidaten kann das Analysieren der Bilddaten umfassen, um eine Ausprägung zumindest eines Bilddaten-Merkmals des Nahrungsmittels zu ermitteln. Die Bilddaten-Merkmale können z.B. eine Farbe, eine Textur, eine Größe, eine Konsistenz und/oder eine Form des in den Bilddaten dargestellten Nahrungsmittels (bzw. einer bestimmten Nahrungsmittel-Komponente) umfassen. Typischerweise werden die Ausprägungen einer Vielzahl von Bilddaten-Merkmalen ermittelt und in einem Merkmalsvektor zusammengefasst.
Ein Nahrungsmittel-Kandidat kann dann in Abhängigkeit von der Ausprägung des zumindest einen Bilddaten-Merkmals (bzw. des Merkmalsvektors) ermittelt werden. So wird eine robuste Ermittlung eines wahrscheinlichen Nahrungsmittel-Kandidaten für das bereits hergestellte Nahrungsmittel ermöglicht.
Insbesondere kann das Ermitteln eines Nahrungsmittel-Kandidaten umfassen das Ermitteln einer Zuweisungsfunktion, die eingerichtet ist, unterschiedlichen Ausprägungen des zumindest einen Bilddaten-Merkmals (bzw. eines Merkmalsvektors) unterschiedliche Nahrungsmittel-Kandidaten zuzuweisen. Die Zuweisungsfunktion kann z.B. einen Cluster-Algorithmus, eine Support Vector Machine und/oder ein neuronales Netz umfassen. Des Weiteren kann die Zuweisungsfunktion anhand von Trainingsdaten angelernt worden sein, wobei die Trainingsdaten typischerweise für eine Vielzahl von tatsächlichen Nahrungsmitteln eine entsprechende Vielzahl von tatsächlichen Ausprägungen des zumindest einen Bilddaten-Merkmals (bzw. des Merkmalsvektors) anzeigen. Der Nahrungsmittel-Kandidat kann dann in Abhängigkeit von der bzw. unter Verwendung der Zuweisungsfunktion ermittelt werden. Eine angelernte Zuweisungsfunktion ermöglicht die robuste Ermittlung eines wahrscheinlichen Nahrungsmittel-Kandidaten für das bereits hergestellte Nahrungsmittel.
Das Verfahren kann weiter das Ermitteln einer Rückmeldung bzw. eines Feedbacks in Bezug auf das ermittelte Rezept umfassen. Die Rückmeldung zeigt dabei an, inwieweit das ermittelte Rezept zu dem in den Bilddaten dargestellten Nahrungsmittel passt. Insbesondere kann die Rückmeldung eine Einschätzung eines Nutzers darüber anzeigen, ob das Rezept für die Herstellung des bereits hergestellten Nahrungsmittels verwendet wurde oder nicht. Die Zuweisungsfunktion kann dann in Abhängigkeit von der Rückmeldung angepasst werden. So kann die Erkennungsrate von Rezepten weiter erhöht werden.
Das Verfahren kann weiter umfassen, das Ermitteln von Metadaten für die Bilddaten. Dabei können die Metadaten Ortsinformation umfassen, die anzeigt, an welchem Ort die Bilddaten erfasst wurden. Alternativ oder ergänzend können die Metadaten Zeitinformation umfassen, die anzeigt, an welchem Zeitpunkt die Bilddaten erfasst wurden. Das Rezept kann dann auch in Abhängigkeit von den Metadaten ermittelt werden. Durch die Berücksichtigung von Metadaten kann die Erkennungsrate von Rezepten weiter erhöht werden. Insbesondere kann auf Basis der Metadaten eine Vorauswahl von möglichen Nahrungsmittel-Kandidaten getroffen werden, um die Anzahl von möglichen Nahrungsmittel-Kandidaten auf die Nahrungsmittel-Kandidaten zu reduzieren, die in Anbetracht der Metadaten überhaupt relevant sein könnten.
Die Metadaten können insbesondere dadurch berücksichtigt werden, dass die Zuweisungsfunktion, die für die Ermittlung von ein oder mehreren Nahrungsmittel-Kandidaten verwendet wird, in Abhängigkeit der Metadaten aus einer Vielzahl von Zuweisungsfunktionen ausgewählt wird. Beispielsweise können für unterschiedliche Orte (z.B. Länder, Regionen, Städte, ggf. Restaurants) unterschiedliche Zuweisungsfunktionen bereitgestellt werden.
Alternativ oder ergänzend können die Metadaten dadurch berücksichtigt werden, dass auf Basis der Metadaten eine Ausprägung zumindest eines Metadaten-Merkmals ermittelt wird. Das zumindest eine Metadaten-Merkmal kann Teil eines Merkmalsvektors sein, der ein oder mehrere Bilddaten-Merkmale und ein oder mehrere Metadaten-Merkmale umfasst. Die Zuweisungsfunktion kann dann eingerichtet sein, unterschiedlichen Kombinationen von Ausprägungen des zumindest einen Bilddaten-Merkmals und von Ausprägungen des zumindest einen Metadaten-Merkmals unterschiedliche Nahrungsmittel-Kandidaten zuzuweisen.
Das bereits hergestellte Nahrungsmittel kann eine Vielzahl von Nahrungsmittel-Komponenten umfassten, die separat hergestellt wurden (z.B. eine Fleisch-Komponente und/oder eine Beilagen-Komponente). Es kann dann auf Basis der Bilddaten eine Vielzahl von Teilmengen der Bilddaten für die entsprechende Vielzahl von Nahrungsmittel-Komponenten ermittelt werden. Dies kann anhand von Bildanalyseverfahren (insbesondere auf Basis von Segmentierungsverfahren) erfolgen. Des Weiteren kann gemäß dem in diesem Dokument beschriebenen Verfahren auf Basis der Vielzahl von Teilmengen der Bilddaten eine Vielzahl von Rezepten für die entsprechende Vielzahl von Nahrungsmittel-Komponenten ermittelt werden. Es wird somit ermöglicht, auch für komplexe Gerichte passende Rezepte zu ermitteln.
Das Verfahren kann weiter umfassen, das Ermitteln, auf Basis der Bilddaten, von Umfeldinformation bezüglich eines Umfelds des bereits hergestellten Nahrungsmittels. Die Umfeldinformation kann beispielsweise anzeigen, welches Besteck und/oder Geschirr für das bereits hergestellte Nahrungsmittel verwendet wird. Die Umfeldinformation kann somit z.B. Information in Bezug auf die Konsistenz und/oder die Herkunft des bereits hergestellten Nahrungsmittels geben. Das Rezept kann dann in Abhängigkeit von der Umfeldinformation ermittelt werden. So kann die Erkennungsrate eines Rezeptes weiter erhöht werden.
Gemäß einem weiteren Aspekt wird ein System zur Ermittlung eines Rezeptes für ein bereits hergestelltes Nahrungsmittel beschrieben. Dieses System ist eingerichtet, um Bilddaten zu ermitteln, die das bereits hergestellte Nahrungsmittel anzeigen. Das System ist weiter eingerichtet, um in Abhängigkeit von den Bilddaten ein Rezept, insbesondere einen Rezeptvorschlag für das bereits hergestellte Nahrungsmittel, zu ermitteln.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen, die in der beigefügten Zeichnung dargestellt sind, näher beschrieben. Dabei zeigen:
1 ein Blockdiagramm eines beispielhaften Systems zur Ermittlung eines Rezeptes für die Herstellung eines Nahrungsmittels; und
2 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung eines Rezeptes für die Herstellung eines Nahrungsmittels.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Identifizierung eines unbekannten Nahrungsmittels, sowie mit der Ermittlung eines Rezeptes für ein solches Nahrungsmittel. 1 zeigt ein Blockdiagramm eines beispielhaften Systems 100 zur Ermittlung eines Rezeptes für ein Nahrungsmittel 101. Das Nahrungsmittel 101 umfasst typischerweise eine Vielzahl von unterschiedlichen Zutaten. Darüber hinaus kann das Nahrungsmittel 101 ggf. gegart (z.B. gekocht, gebraten, gebacken, gegrillt, etc.) sein. Das zu ermittelnde Rezept umfasst eine Liste der Zutaten des Nahrungsmittels 101 (sowie entsprechende Mengenangaben). Des Weiteren umfasst das zu ermittelnde Rezept eine Liste von Prozessschritten eines Herstellungsprozesses des Nahrungsmittels 101. Ein Nutzer des Systems 100 wird durch das ermittelte Rezept befähigt, das zuvor unbekannte Nahrungsmittel 101 herzustellen.
Das System 100 umfasst ein elektronisches Gerät 110 (z.B. ein Smartphone eines Nutzers), das eingerichtet ist, Bilddaten bzgl. des unbekannten, bereits hergestellten Nahrungsmittels 101 zu ermitteln. Zu diesem Zweck kann das elektronische Gerät 110 eine Kamera 111 umfassen, die eingerichtet ist, ein Bild (und entsprechende Bilddaten) von dem Nahrungsmittel 101 zu erfassen.
In Ergänzung zu den Bilddaten können von dem elektronischen Gerät 110 Metadaten ermittelt werden, die weitere Information in Bezug auf die Bilddaten anzeigen. Die Metadaten können ein oder mehrere der folgenden Information umfassen:

• Ortsinformation (z.B. GPS Koordinaten), die anzeigt, an welchem Ort (z.B. in welchem Land oder in welcher Region oder in welchem Restaurant) die Bilddaten erfasst wurden; und/oder
• Zeitinformation (z.B. eine lokale Uhrzeit), die anzeigt, zu welchem Zeitpunkt (z.B. zu welcher lokalen Tageszeit) die Bilddaten erfasst wurden.

Die Bilddaten 131 und ggf. die Metadaten 132 können (z.B. über eine geeignete drahtlose oder drahtgebundene Kommunikationsverbindung) an eine Erkennungseinheit 120 übermittelt werden. Die Erkennungseinheit 120 ist eingerichtet, auf Basis der Bilddaten 131 und ggf. auf Basis der Metadaten 132 ein oder mehrere Nahrungsmittel-Kandidaten zu ermitteln, denen das in den Bilddaten 131 dargestellte Nahrungsmittel 101 entsprechen könnte. Zu diesem Zweck kann die Erkennungseinheit 120 auf eine Zuweisungsfunktion zugreifen, die eingerichtet ist, unterschiedlichen Ausprägungen eines Merkmalsvektors unterschiedliche Nahrungsmittel-Kandidaten zuzuweisen. Die Zuweisungsfunktion kann z.B. einen Cluster-Algorithmus, eine Support Vector Machine und/oder ein neuronales Netzwerk umfassen.
Insbesondere kann die Erkennungseinheit 120 eingerichtet sein, auf Basis der Bilddaten 131 und ggf. auf Basis der Metadaten 132 eine Ausprägung eines Merkmalsvektors für das zu ermittelnde Nahrungsmittel 101 zu bestimmen. Ein Merkmalsvektor kann eine Vielzahl von Vektordimensionen umfassen, wobei eine Vektordimension ein bestimmtes Merkmal des Nahrungsmittels 101 beschreiben kann. Beispielhafte Merkmale des Nahrungsmittels 101 bzw. von einzelnen Komponenten des Nahrungsmittels 101 sind: Farbe, Struktur, Konsistenz, Größe, etc. Die Ausprägungen derartiger Merkmale können auf Basis der Bilddaten 131 (z.B. durch Verwendung von Bildanalyseverfahren) ermittelt werden. So entsteht ein Merkmalsvektor, der bildlich erfassbare Merkmale bzw. Eigenschaften (in diesem Dokument auch als Bilddaten-Merkmale bezeichnet) des zu ermittelten Nahrungsmittels 101 beschreibt.
Die Metadaten 132 können zur Ermittlungen von Ausprägungen von weiteren Merkmalen des Merkmalsvektors (in diesem Dokument als Metadaten-Merkmale bezeichnet) ermittelt werden. Beispielhafte Merkmale, die auf Basis der Metadaten 132 ermittelt werden können, sind der Ort und/oder die Zeit an denen das zu erkennende Nahrungsmittel 101 verzehrt wurde. Alternativ oder ergänzend können in Abhängigkeit von den Metadaten 132 unterschiedliche Zuweisungsfunktionen verwendet werden, um die ein oder mehreren Nahrungsmittel-Kandidaten zu ermitteln. Durch die Berücksichtigung von Metadaten 132 kann die Qualität (insbesondere die Relevanz) der ermittelten ein oder mehreren Nahrungsmittel-Kandidaten erhöht werden.
Die Zuweisungsfunktion 133 kann von einer lokalen und/oder entfernten Nahrungsmittel-Datenbank 121 bezogen werden. Der Zugriff auf eine entfernte Nahrungsmittel-Datenbank 121 kann über das Internet erfolgen. Anhand einer (ggf. Metadaten-abhängigen) Zuweisungsfunktion 133 kann die Ermittlungseinheit 120 eine Liste von ein oder mehreren Nahrungsmittel-Kandidaten 135 ermitteln, die für die ermittelte Ausprägung des Merkmalsvektors relevant sein könnten. Des Weiteren können Wahrscheinlichkeiten und/oder Relevanz-Werte für die ein oder mehreren Nahrungsmittel-Kandidaten 135 ermittelt werden. So können die ein oder mehreren Nahrungsmittel-Kandidaten 135 mit der relativ höchsten Wahrscheinlichkeit / Relevanz ausgewählt werden. Des Weiteren kann dem Nutzer eine, ggf. nach Relevanz sortierte, Liste von ein oder mehreren Nahrungsmittel-Kandidaten 135 bereitgestellt werden. Die Liste von ein oder mehreren Nahrungsmittel-Kandidaten 135 kann zu diesem Zweck an das elektronische Gerät 110 des Nutzers übermittelt werden.
Die Ermittlungseinheit 120 ist weiter eingerichtet, zumindest ein Rezept 134 für jedes der ein oder mehreren Nahrungsmittel-Kandidaten 135 zu ermitteln. Zu diesem Zweck kann die Ermittlungseinheit 120 auf eine lokale oder entfernte Rezept-Datenbank 122 zugreifen, die für einen Nahrungsmittel-Kandidaten 135 zumindest ein Rezept 134 bereitstellt. Der Zugriff auf eine entfernte Rezept-Datenbank 122 kann über das Internet erfolgen. Die ermittelten Rezepte 134 für die ein oder mehreren Nahrungsmittel-Kandidaten 135 können an das elektronische Gerät 135 des Nutzers übermittelt und ggf. angezeigt werden.
Die Ermittlungseinheit 120 kann eingerichtet sein, die Ermittlung von Nahrungsmittel-Kandidaten 135 und/oder von Rezepten 134 in Abhängigkeit von einer Rückmeldung 136 des Nutzers anzupassen. Insbesondere kann eine Zuweisungsfunktion 133 in Abhängigkeit von einer Rückmeldung 136 angepasst werden. Beispielsweise kann die Rückmeldung 136 anzeigen, welcher Kandidat 135 der ermittelten Nahrungsmittel-Kandidaten 135 von dem Nutzer als korrekt ausgewählt wurde. Diese Information kann dann im Rahmen eines Maschine-Lern-Verfahrens dazu verwendet werden, die Zuweisungsfunktion 133 zur Ermittlung der Nahrungsmittel-Kandidaten 135 anzupassen. So kann das System 100 kontinuierlich verbessert werden.
Das System 100 ist somit eingerichtet, automatisch ein Nahrungsmittel 101 (insbesondere ein Gericht) auf Basis eines Fotos zu erkennen. Dabei kann das Foto physisch oder digital vorliegen, und kann in Form von geeigneten (digitalen) Bilddaten 131 für eine Bildanalyse bereitgestellt werden. Das System 100 stellt dem Nutzer auf Basis der Bilddaten 131 passende Vorschläge für Rezepte 134 (ggf. mit einer Wahrscheinlichkeitsangabe für die einzelnen Vorschläge) bereit. Die Erkennung eines Nahrungsmittels 101 kann dabei nicht nur durch Bilderkennung und Bildverarbeitung, sondern auch durch das Einbeziehen von Metadaten 132 und ggf. anderen Datenquellen erfolgen (z.B. können auf Basis der Ortsinformation landesspezifische Ausschlusskriterien, Nationalgericht, etc. berücksichtigt werden). Das System 100 kann als eine Applikation für ein Smartphone, als Plugin in einem Browser, etc. umgesetzt werden.
Die Erkennung eines Nahrungsmittels 101 kann lernfähig sein (z.B. durch Anbindung an ein lernfähiges Experten-System, wie z.B. das System Watson von der Firma IBM). Dadurch kann die Erkennungsfunktion des Systems 100 automatisch durch die Benutzung des Systems 100 verbessert werden.
In einem Beispiel liegt das Foto des Nahrungsmittels 101 digital (z.B. in einer Bildersammlung oder in einem sozialen Medium, wie Facebook, Instagram, etc.) als Bilddaten 131 vor. Des Weiteren liegt ein Zugriff auf Metadaten 132, wie GPS-Daten, Zeitstempel, Bildbeschreibung, etc. vor. Das System 100 kann auf Basis der Metadaten 132 eine Vorfilterung vornehmen, um die Liste von möglichen Nahrungsmittel-Kandidaten einschränken. Beispielsweise zeigen die GPS Daten an, in welchem Land (z.B. Indien) das Foto gemacht wurde. Dadurch können unwahrscheinliche Zutaten für dieses Land (z.B. Rindfleisch) ausgeschlossen werden. Des Weiteren kann anhand der Ortsinformation ggf. ein Restaurant ermittelt werden, in dem das Foto gemacht wurde. Durch eine online verfügbare Speisekarte des Restaurants kann die Liste von möglichen Nahrungsmittel-Kandidaten weiter eingeschränkt werden. Bei Kenntnis des Aufnahmedatums eines Fotos kann ggf. ein Abgleich mit einem digitalen Kalender des Nutzers, der das Foto erstellt hat, erfolgen, um zu ermitteln, an welchem Ort sich der Nutzer bei der Aufnahme des Fotos befand. Diese Information kann dann wieder zur Einschränkung der Liste von möglichen Nahrungsmittel-Kandidaten verwendet werden.
Ggf. nach der Ermittlung einer eingeschränkten Liste von möglichen Nahrungsmittel-Kandidaten, kann über die Bildverarbeitung der Bilddaten 131 eine Liste von (z.B. drei) Nahrungsmittel-Kandidaten 135 ermittelt werden, die einen relativ höchsten Relevanz-Wert bzw. Matchfaktor aufweisen. Des Weiteren können dazu passende Rezepte 134 ermittelt und dem Nutzer zur Verfügung gestellt werden.
Der Nutzer kann eines der angezeigten Rezepte 134 auswählen und ggf. Feedback 136 (d.h. eine Rückmeldung) über die Richtigkeit eines ermittelten Rezeptes 134 geben. Das Feedback 136 kann dazu verwendet werden, die Erkennung von Nahrungsmittel-Kandidaten 135 und/oder Rezepten 134 zu verbessern. Durch die Rückmeldung 136 können die Trainingsdaten zum Anlernen eines Experten-Systems und/oder einer Zuweisungsfunktion 133 vergrößert werden, so dass die Erkennungsrate des Systems 100 steigt.
Ggf. kann auch ohne Metadaten 132 oder in Ergänzung zu Metadaten 132 Information über ein Foto eines Nahrungsmittels 101 auf Basis von externen Informationsquellen bereitgestellt werden. Ein Beispiel für eine solche Informationsquelle ist ein digitaler Kalender eines Nutzers des Systems 100, aus dem z.B. ein typischer Aufenthaltsort des Nutzers ermittelt werden kann. Der typische Aufenthaltsort kann dazu verwendet werden, die Liste von möglichen Nahrungsmittel-Kandidaten einzuschränken.
Bei der Bildverarbeitung der Bilddaten 131 können ggf. auch Ausprägungen von Merkmalen bzgl. der Umgebung (d.h. Umfeldinformation) ermittelt werden. Beispielsweise kann der Typ des Bestecks (z.B. Messer und Gabel bzw. Stäbchen) ermittelt werden, mit dem das Nahrungsmittel 101 gegessen wird. Diese Information kann dazu verwendet werden, die Liste von möglichen Nahrungsmittel-Kandidaten weiter zu reduzieren.
Wie in 1 dargestellt kann das System 100 auf eine Vielzahl von Datenbanken 121, 122 (ggf. über das Internet) zugreifen. Über die Datenbanken 121, 122 kann Information in Bezug auf Rezepte, länderspezifische Eigenschaften, Bilder von Gerichten, etc. ermittelt werden.
2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200 zur Ermittlung eines Rezeptes 134 für ein bereits hergestelltes Nahrungsmittel 101 (z.B. für ein Gebäck, für ein gegartes Gericht und/oder für einen Salat). Das Verfahren 200 umfasst das Ermitteln 201 von Bilddaten 131, die das bereits hergestellte Nahrungsmittel 101 anzeigen. Insbesondere kann ein Foto des Nahrungsmittels 101 bereitgestellt werden. Die digitalen Daten des Fotos können den Bilddaten 131 entsprechen.
Das Verfahren 200 umfasst weiter, das Ermitteln 202 eines Rezeptes 134 in Abhängigkeit von den Bilddaten 131. Insbesondere kann ein Rezept 134 ermittelt werden, das mit einer bestimmten Wahrscheinlichkeit für die Herstellung des bereits hergestellten Nahrungsmittels 101 verwendet wurde. Des Weiteren kann ggf. Information in Bezug auf die Wahrscheinlichkeit bzw. in Bezug auf die Relevanz des ermittelten Rezeptes 134 bereitgestellt werden. Wie in diesem Dokument dargestellt, können die Bilddaten 131 analysiert werden, um ein oder mehrere Bilddaten-Merkmale zu ermitteln, aus denen dann mittels einer angelernten Zuweisungsfunktion 133 ein oder mehrere Nahrungsmittel-Kandidaten 135 ermittelt werden können. Es können dann Rezepte 134 für die ein oder mehreren Nahrungsmittel-Kandidaten 135 als mögliche Rezepte 134 für das bereits hergestellte Nahrungsmittel 101 ermittelt und bereitgestellt werden (z.B. durch Zugriff auf eine Rezept-Datenbank 122).
Das in diesem Dokument beschriebene Verfahren 200 und/oder System 100 ermöglichen es einem Nutzer, in effizienter Weise ein Rezept für ein bereits erstelltes Nahrungsmittel 101 zu ermitteln. Der Nutzer wird dadurch befähigt, ein ihm unbekanntes Nahrungsmittel 101 selbst herzustellen und/oder mit anderen zu teilen.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Verfahren (200) zur Ermittlung eines Rezeptes (134) für ein bereits hergestelltes Nahrungsmittel (101), wobei das Verfahren (200) umfasst, – Ermitteln (201) von Bilddaten (131), die das bereits hergestellte Nahrungsmittel (101) anzeigen; und – Ermitteln (202) eines Rezeptes (134) in Abhängigkeit von den Bilddaten (131).
Verfahren (200) gemäß Anspruch 1, wobei das Ermitteln (202) eines Rezeptes umfasst, – Ermitteln eines Nahrungsmittel-Kandidaten (135) auf Basis der Bilddaten (131); und – Ermitteln eines Rezeptes (134) zur Herstellung des Nahrungsmittel-Kandidaten (135).
Verfahren (200) gemäß Anspruch 2, wobei das Verfahren (200) umfasst, – Ermitteln einer Vielzahl von Nahrungsmittel-Kandidaten (135); – Ermitteln einer Vielzahl von Relevanz-Werten für die Vielzahl von Nahrungsmittel-Kandidaten (135), wobei der Relevanz-Wert eines Nahrungsmittel-Kandidaten (135) eine Wahrscheinlichkeit dafür anzeigt, dass der Nahrungsmittel-Kandidat (135) dem bereits hergestellten Nahrungsmittel (101) entspricht; – Ermitteln einer Vielzahl von Rezepten für die Vielzahl von Nahrungsmittel-Kandidaten (135); und – Bereitstellen der Vielzahl von Rezepten in Abhängigkeit von der entsprechenden Vielzahl von Relevanz-Werten.
Verfahren (200) gemäß einem der Ansprüche 2 bis 3, wobei – das Ermitteln eines Nahrungsmittel-Kandidaten (135) umfasst, Analysieren der Bilddaten (131), um eine Ausprägung zumindest eines Bilddaten-Merkmals des Nahrungsmittels (101) zu ermitteln; und – der Nahrungsmittel-Kandidat (135) in Abhängigkeit von der Ausprägung des zumindest einen Bilddaten-Merkmals ermittelt wird.
Verfahren (200) gemäß Anspruch 4, wobei Bilddaten-Merkmale ein oder mehrere umfassen von: eine Farbe, eine Textur, eine Größe, eine Konsistenz und/oder eine Form des in den Bilddaten (101) dargestellten Nahrungsmittels (101).
Verfahren (200) gemäß einem der Ansprüche 4 bis 5, wobei – das Ermitteln eines Nahrungsmittel-Kandidaten (135) umfasst, Ermitteln einer Zuweisungsfunktion (133), die eingerichtet ist, unterschiedlichen Ausprägungen des zumindest einen Bilddaten-Merkmals unterschiedliche Nahrungsmittel-Kandidaten (135) zuzuweisen; und – der Nahrungsmittel-Kandidat (135) in Abhängigkeit von der Zuweisungsfunktion (133) ermittelt wird.
Verfahren (200) gemäß Anspruch 6, wobei – die Zuweisungsfunktion (133) einen Cluster-Algorithmus, eine Support Vector Machine und/oder ein neuronales Netz umfasst; und/oder – die Zuweisungsfunktion (133) anhand von Trainingsdaten angelernt wurde, die für eine Vielzahl von tatsächlichen Nahrungsmitteln eine entsprechende Vielzahl von tatsächlichen Ausprägungen des zumindest einen Bilddaten-Merkmals anzeigen.
Verfahren (200) gemäß einem der Ansprüche 6 bis 7, wobei – das Verfahren (200) weiter umfasst, Ermitteln einer Rückmeldung (136) in Bezug auf das ermittelte Rezept (134); – die Rückmeldung (136) anzeigt, inwieweit das ermittelte Rezept (134) zu dem in den Bilddaten (131) dargestellten Nahrungsmittel (101) passt; und – das Verfahren (200) weiter umfasst, Anpassen der Zuweisungsfunktion (133) in Abhängigkeit von der Rückmeldung (136).
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei – das Verfahren (200) weiter umfasst, Ermitteln von Metadaten (131) für die Bilddaten (131); – die Metadaten (131) ein oder mehrere umfassen von: – Ortsinformation, die anzeigt, an welchem Ort die Bilddaten (131) erfasst wurden; und/oder – Zeitinformation, die anzeigt, an welchem Zeitpunkt die Bilddaten (131) erfasst wurden; und – das Rezept (134) auch in Abhängigkeit von den Metadaten (131) ermittelt wird.
Verfahren (200) gemäß Anspruch 9 mit Rückbezug auf einen der Ansprüche 5 bis 8, wobei das Verfahren (200) weiter umfasst, – Auswählen einer Zuweisungsfunktion (133) aus einer Vielzahl von Zuweisungsfunktionen (133), in Abhängigkeit der Metadaten (132); und/oder – Ermitteln einer Ausprägung zumindest eines Metadaten-Merkmals auf Basis der Metadaten (132), wobei die Zuweisungsfunktion (133) eingerichtet ist, unterschiedlichen Kombinationen von Ausprägungen des zumindest einen Bilddaten-Merkmals und von Ausprägungen des zumindest einen Metadaten-Merkmals unterschiedliche Nahrungsmittel-Kandidaten (135) zuzuweisen.
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei – das bereits hergestellte Nahrungsmittel (101) eine Vielzahl von Nahrungsmittel-Komponenten umfasst, die separat hergestellt wurden; – das Verfahren (200) umfasst, Ermitteln, auf Basis der Bilddaten (131), einer Vielzahl von Teilmengen der Bilddaten (131) für die entsprechende Vielzahl von Nahrungsmittel-Komponenten; und – Ermitteln einer Vielzahl von Rezepten (134) für die Vielzahl von Nahrungsmittel-Komponenten, auf Basis der Vielzahl von Teilmengen der Bilddaten (131).
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei – das Verfahren (200) umfasst, Ermitteln, auf Basis der Bilddaten (131), von Umfeldinformation bezüglich eines Umfelds des bereits hergestellten Nahrungsmittels (101); – die Umfeldinformation insbesondere anzeigt, welches Besteck und/oder Geschirr für das bereits hergestellte Nahrungsmittel (101) verwendet wird; und – das Rezept (134) in Abhängigkeit von der Umfeldinformation ermittelt wird.
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das bereits hergestellte Nahrungsmittel (101) – eine Vielzahl von unterschiedlichen Zutaten umfasst; und/oder gegart, insbesondere gekocht, gebraten, gegrillt oder gebacken, wurde.
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das ermittelte Rezept (134) anzeigt, – eine Vielzahl von Zutaten zur Herstellung eines Nahrungsmittels; – Mengenangaben für die Vielzahl von Zutaten; und Prozessschritte eines Verfahrens zur Herstellung des Nahrungsmittels.
System (100) zur Ermittlung eines Rezeptes (134) für ein bereits hergestelltes Nahrungsmittel (101), wobei das System (100) eingerichtet ist, – Bilddaten (131) zu ermitteln, die das bereits hergestellte Nahrungsmittel (101) anzeigen; und – in Abhängigkeit der Bilddaten (131) ein Rezept (134) zu ermitteln.