-
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Indizieren von Videodaten eines Kochvorgangs.
-
Bei modernen Küchen ist es heutzutage bekannt digitale Rezepte zu verwenden, die dem Benutzer die einzelnen Rezeptschritte vorgeben. Hierbei werden vorzugsweise aktuelle Situationen in der Umgebung des Kochfeldes berücksichtigt. Es werden zu diesem Zweck Trainingsdatensätze verwendet. Diese Trainingsdatensätze werden bisher so generiert, dass Videoaufzeichnungen von tatsächlichen Ereignissen per Hand mittels einer Software bearbeitet werden. Im Stand der Technik werden dabei Objekte, wie beispielsweise einer Pfanne, innerhalb des erfassten Bildes, insbesondere Videobildes identifiziert und markiert. Das Erstellen eines Trainingssatzes bestehend aus dem erfassten Bild und dem oder den markierten Objekten ist zeit- und kostenintensiv.
-
Es ist daher Aufgabe der vorliegenden Erfindung eine Lösung zu schaffen, die es erlaubt Videodaten eines Kochvorgangs auf einfache Weise und dennoch zuverlässig zu indizieren.
-
Gemäß einem ersten Aspekt betrifft die Erfindung daher ein Verfahren zum Indizieren von Videodaten eines Kochvorgangs. Das Verfahren ist dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst:
- - Erfassen der Videodaten des Kochvorgangs
- - Zuordnen der Videodaten zu einem gespeicherten Rezept
- - automatisches Ermitteln von Informationen des Kochvorgangs und
- - Indizieren der Videodaten des Kochvorgangs auf der Basis der ermittelten Informationen.
-
Als Videodaten eines Kochvorgangs werden vorzugsweise Daten bewegter Bilder bezeichnet. Es liegt aber auch im Rahmen der Erfindung, dass als Videodaten Daten stehender Bilder des Kochvorgangs, insbesondere Momentaufnahmen, verwendet werden. Im Folgenden werden die Videodaten auch als Videobilder bezeichnet.
-
Als Kochvorgang werden erfindungsgemäß vorzugsweise zumindest die Schritte des Kochvorgangs, die auf einem Kochfeld erfolgen, bezeichnet. Zusätzlich kann der Kochvorgang aber auch vorbereitende oder nachbereitende Schritte, die auf oder neben dem Kochfeld durchgeführt werden, umfassen.
-
Als Erfassen der Videodaten wird erfindungsgemäß vorzugsweise die Aufnahme der Videodaten bezeichnet. Vorzugsweise werden die Videodaten durch eine Kamera erfasst.
-
Das Zuordnen der Videodaten zu einem gespeicherten Rezept kann auch als Mappen bezeichnet werden. Das gespeicherte digitale Rezept stellt vorzugsweise ein Schritt-für-Schritt Rezept dar. Zu jedem Rezeptschritt kann dabei eine Bildangabe gespeichert sein. Die Zuordnung kann automatisch oder manuell durch den Benutzer erfolgen.
-
Als Informationen des Kochvorgangs, die automatisch ermittelt werden, werden beispielsweise Objekte und/oder Bewegungen auf und/oder neben dem Kochfeld bezeichnet. Zudem können Aktionen des Benutzers oder Vorgänge an dem Kochfeld, beispielsweise Einstellung einer Betriebsstufe einer Kochzone, und Vorgänge auf dem Kochfeld, beispielsweise die Temperatur oder der Zustand eines Gargutes, als Informationen des Kochvorgangs bezeichnet werden. Das Ermitteln der Informationen erfolgt erfindungsgemäß automatisch. Beispielsweise kann das Ermitteln über Bildauswertung und/oder Objekterkennung erfolgen. Die Informationen werden vorzugsweise aufgrund der Zuordnung der Videodaten zu einem gespeicherten Rezept ermittelt. Beispielsweise aufgrund der Angabe eines Verfahrensschrittes eines digitalen Rezeptes, beispielsweise die Angabe „Zwiebeln schneiden“ oder „Fleisch anbraten“, kann für ein in dem Videobild erfasstes Objekt die Information „Zwiebeln“ oder „Fleisch“ ermittelt werden.
-
Als Indizieren der Videodaten wird insbesondere das Setzen einer Markierung in einem Datensatz eines bestimmten Zeitpunktes oder in einer Momentaufnahme bezeichnet. Das Indizieren kann auch als Markieren oder Labeln bezeichnet werden. Die Indizierung, die Markierung beziehungsweise das Label kann sich auf ein Objekt, eine Bewegung des Objektes oder auf eine Änderung eines Gargutes beziehen. Das Indizieren der Videodaten erfolgt erfindungsgemäß auf der Basis der ermittelten Informationen.
-
Indem erfindungsgemäß die Videodaten einem gespeicherten Rezept zugeordnet werden und die Informationen des Kochvorgangs automatisch ermittelt werden, ist der Aufwand zum Indizieren der Videodaten reduziert und die Indizierung dennoch zuverlässig.
-
Das Zuordnen zu einem Rezept kann einen Vergleich der erfassten Videodaten mit den gespeicherten Rezeptdaten des gespeicherten Rezeptes. Gemäß einer bevorzugten Ausführungsform umfasst das Zuordnen der Videodaten das Zuordnen eines Videodatensatzes der Videodaten zu einem Rezeptschritt des gespeicherten Rezeptes. Hierdurch kann der aktuelle Schritt des Kochvorgangs einem Rezeptschritt zugeordnet werden und dadurch Informationen, wie beispielsweise Informationen zu Objekten oder Bewegungen zuverlässiger ermittelt werden.
-
Gemäß einer Ausführungsform umfasst der Schritt des Ermittelns von Informationen das Erkennen von Objekten. Insbesondere können aufgrund des zugeordneten Rezeptes und insbesondere des zugeordneten Rezeptschrittes Objekte, wie eine Pfanne oder das Gargut, die in dem Rezept genannt sind, zuverlässig als solche erkannt werden. Wird hingegen eine Bewegung erfasst und in dem Rezeptschritt ist der Vorgang „Umrühren“ genannt, kann diese Information zuverlässig ermittelt werden.
-
Gemäß einer Ausführungsform umfasst der Schritt des Zuordnens und/oder der Schritt des Ermittelns von Informationen das Erfassen von Betriebsparametern zumindest eines der in dem Kochvorgang verwendeten Haushaltsgeräte. Insbesondere kann das Erfassen der Betriebsparameter des zumindest einen Haushaltsgerätes das Überwachen von Bedienelementen des Haushaltsgerätes umfassen. Hierdurch kann in Zusammenhang mit dem zugeordneten Rezeptschritt beispielsweise der Vorgang „köcheln“ erkannt werden und entweder zur Zuordnung eines Rezeptschrittes verwendet werden oder als Information ermittelt werden.
-
Gemäß einer Ausführungsform umfasst der Schritt des Zuordnens und/oder der Schritt des Ermittelns von Informationen das Verarbeiten von Sensorsignalen. Hierdurch kann die Zuordnung zu einem Rezept oder die Ermittlung der Informationen noch präziser erfolgen.
-
Gemäß einer bevorzugten Ausführungsform umfasst der Schritt des Indizierens das Markieren zumindest eines Objektes und/oder eine Bewegung in den Videodaten. Indem Objekte oder Bewegungen in den Videodaten markiert sind, können die so markierten Videodaten auf einfache Weise beispielsweise als Trainingsdaten für Algorithmen zur Objekterkennungen verwendet werden oder um während eines Kochvorgangs zusätzliche Anweisungen für den Benutzer zu generieren.
-
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zum Indizieren von Videodaten eines Kochvorgangs, wobei das System dadurch gekennzeichnet ist, dass das System zum Ausführen eines erfindungsgemäßen Verfahrens ausgelegt ist.
-
Gemäß einer Ausführungsform weist das System zumindest eine Erfassungseinheit zum Erfassen der Videodaten, zumindest eine Speichereinheit zum Speichern von Rezepten und zumindest eine Verarbeitungseinheit zur Zuordnung der Videodaten zu einem Rezept und zum Indizieren der Videodaten auf.
-
Die Erfassungseinheit kann mit der Verarbeitungseinheit in einer gemeinsamen Einheit integriert sein. Auch die Speichereinheit kann mit der Erfassungseinheit und der Verarbeitungseinheit in einer gemeinsamen Einheit integriert sein. Gemäß einer anderen Ausführungsform kann zumindest die Speichereinheit separat zu der Erfassungseinheit, beispielsweise in einem Server vorgesehen sein, mit der die Erfassungseinheit kommunizieren kann.
-
Vorteile und Merkmale, die bezüglich des erfindungsgemäßen Verfahrens beschrieben werden und wurden, gelten - soweit anwendbar - entsprechend für das erfindungsgemäße System und jeweils umgekehrt.
-
Die Erfindung wird im Folgenden erneut unter in Bezugnahme auf die beiliegenden Figuren genauer beschrieben. Es zeigen:
- 1: eine schematische Perspektivansicht einer Ausführungsform einer Umgebung zum Durchführen des erfindungsgemäßen Verfahrens;
- 2: ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens; und
- 3: ein Flussdiagramm von Rezeptschritten eines digitalen Rezeptes.
-
Wie in 1 gezeigt, umfasst das erfindungsgemäße System 1 eine Erfassungseinheit 10. Die Erfassungseinheit 10 ist in der gezeigten Ausführungsform an einer Dunstabzugshaube 2, insbesondere an der Unterseite der Dunstabzugshaube 2 angeordnet. Die Erfassungseinheit 10 umfasst vorzugsweise eine Kamera. Obwohl nicht gezeigt umfasst die Erfassungseinheit 10 vorzugsweise eine Verarbeitungseinheit oder ist mit einer solchen verbunden.
-
Unterhalb der Dunstabzugshaube 2 ist ein Kochfeld 3 angeordnet. Wie sich aus 1 ergibt, ist der Erfassungsbereich 100 der Erfassungseinheit 10 in Richtung des Kochfeldes 3 gerichtet. Die Größe der Fläche des Erfassungsbereiches 100 in der Ebene des Kochfeldes 3 ist größer als die Fläche des Kochfeldes 3. Somit können von der Erfassungseinheit 10 nicht nur das Kochfeld 3, sondern auch Bereiche seitlich benachbart zu dem Kochfeld 3 erfasst werden.
-
Wird auf dem Kochfeld 3 gekocht, so erfasst die Erfassungseinheit 10 vorzugsweise den gesamten Kochvorgang. Dabei wird eine Videoaufnahme über den gesamten Kochvorgang aufgenommen. Hierbei werden Position und Bewegung des Benutzers, insbesondere der Hand des Benutzers im Erfassungsbereich 100 der Erfassungseinheit 10 festgestellt.
-
An dem Kochfeld 3 ist eine Bedieneinheit 30 vorgesehen, mittels derer die Kochstufe von Kochzonen des Kochfeldes 3 eingestellt werden kann. Die Einstellung der Kochstufe kann durch die Erfassungseinheit 10 erfasst werden oder durch eine kabelgebundene oder drahtlose Verbindung des Kochfeldes 3 mit der Dunstabzugsvorrichtung 2 an die Dunstabzugsvorrichtung 2 und an die Erfassungseinheit 10 und vorzugsweise an die Verarbeitungseinheit (nicht gezeigt) übermittelt werden.
-
Zudem können an der Dunstabzugsvorrichtung 2 auch ein oder mehrere Sensoren (nicht gezeigt), insbesondere Gas- und/oder Partikelsensoren, vorgesehen sein.
-
Zudem ist in 1 ein mobiles Endgerät 4 in Form eines Smartphones gezeigt. Das mobile Endgerät 4 ist auf der Arbeitsplatte, in der das Kochfeld 3 eingebracht ist, abgelegt. Das mobile Endgerät 4 liegt in 1 außerhalb des Erfassungsbereiches 100 der Erfassungseinheit.
-
Das von der Erfassungseinheit 10 erfasste Videobild und die optional erfassten Sensordaten zur Wrasenanalyse, die über den einen oder mehrere Gas- und/oder Partikelsensoren erfasst werden, können mit gespeicherten Rezeptdaten verbunden werden. Zudem können die erfassten Ereignisse abgeglichen werden.
-
Eine Ausführungsform des erfindungsgemäßen Verfahrens ist in 2 gezeigt.
-
Hierbei erfolgt in Schritt S1 die Aufnahme von Videobildern durch die Erfassungseinheit 10. Diese Aufnahme kann manuell gestartet werden oder beispielsweise durch Anschalten der Dunstabzugsvorrichtung 2 oder des Kochfeldes 3 gestartet werden. Gemäß einer Ausführungsform wird in Schritt S2 überprüft, ob auf einem mobilen Endgerät 4, das mit der Erfassungseinheit 10, der Dunstabzugsvorrichtung 2 oder der Verarbeitungseinheit verbunden ist, ein digitales Rezept gestartet wurde. Alternativ oder bei negativem Überprüfungsergebnis in Schritt S2 kann in Schritt S3 überprüft werden, ob eine Objekterfassung aktiv ist. Die Objekterfassung kann in der Erfassungseinheit 10 und/oder der Verarbeitungseinheit erfolgen. Ist die Objekterfassung aktiv, wird in Schritt S4 die Objekterkennung gestartet. Auch diese Objekterkennung kann in der Erfassungseinheit 10 und/oder der Verarbeitungseinheit erfolgen.
-
In Schritt S5 wird überprüft, ob ein digitales Rezept anhand der Objekterkennung ermittelt werden kann. Ist dies möglich, geht das Verfahren mit Schritt S6 weiter. Ist hingegen das Rezept anhand der Objektermittlung nicht ermittelbar, geht das Verfahren mit Schritt S8 weiter. In diesem Schritt erfolgt eine manuelle Auswahl des Rezeptes durch den Benutzer. In Schritt S6 wird dann eine Zuordnung der erfassten Videodaten zu einem oder mehreren Rezeptschritten in dem digitalen Rezept durchgeführt.
-
Bei der in dem linken Zweig des Flussdiagramms in 2 gezeigten Verfahren, werden in dem Fall, in dem ein digitales Rezept auf einem mobilen Endgerät gestartet wurde, in Schritt S7 das gestartete Rezept ausgewählt und in Schritt S6 die Videodaten zu Rezeptschritten in dem digitalen Rezept zugeordnet. Diese Zuordnung kann manuell oder automatisch erfolgen. Beispielsweise kann in dem Fall, in dem das Rezept auf einem mobilen Endgerät gestartet wurde (S2) die Zuordnung von Videodaten zu einzelnen Rezeptschritten durch den Benutzer erfolgen. Alternativ kann die Zuordnung, insbesondere bei Verwendung einer Objekterfassung (S3) automatisch erfolgen.
-
Durch die Zuordnung der Videodaten zu einem Rezeptschritt können die Rückschlüsse auf die in dem Videobild enthaltenen Objekte und / oder Bewegungen in Schritt S9 getroffen werden. In Schritt S10 werden die Objekte und/oder Bewegungen dann entsprechend indiziert, das heißt mit einem entsprechenden Label versehen.
-
In 3 ist ein Beispiel eines digitalen Rezeptes gezeigt.
-
Für einen ersten Schritt R1 ist in dem Rezept hinterlegt „Öl in Pfanne erhitzen“. Für einen zweiten Schritt R2 ist „Zwiebeln schneiden“ hinterlegt. Für einen dritten Schritt R3 ist „Fleisch anbraten“ hinterlegt. Für den vierten Schritt R4 ist „Ablöschen“ hinterlegt. Für den fünften Schritt R5 ist „Kochen“ hinterlegt.
-
Wie oben beschrieben, erfolgt bei oder nach der Aufnahme des Videobildes zunächst die Zuordnung eines erfassten Kochvorgangs, das heißt des erfassten Videobildes zu einem Rezept. Diese Zuordnung wird auch als Mapping bezeichnet. Hierbei kann das Mapping auch in Schritt-für-Schritt-Abschnitte gegliedert sein.
-
Wie unter Bezug auf 2 beschrieben, kann das Mapping in verschiedenen Arten erfolgen. In einer ersten Ausführungsform kann das erfasste Video direkt auf ein Rezept gemappt werden, wenn während des Kochens ein mobiles Endgerät zum Anzeigen eines Rezeptes verwendet wird. Das Rezept ist dabei insbesondere ein Schritt-für-Schritt-Rezept. In einer zweiten Ausführungsform können einem erfassten Video im Nachhinein ein Rezept und die einzelnen Schritte zugeordnet werden. In einer dritten Ausführungsform kann die Zuordnung zu einem Rezept, das sich in einer Datenbank befindet, mit Hilfe von Algorithmen zur Objekterkennung erfolgen.
-
Beispielsweise kann beim Zubereiten von Gulasch durch die Kenntnis des Rezeptes bekannt sein, dass zunächst das Fleisch angebraten wird (R3). Das Mapping dieses Schrittes zum Videobild ist entweder bekannt (beim Verwenden einer Schritt-für-Schritt-Anleitung), erfolgt manuell oder kann automatisch mit Hilfe von vorher trainierten Software-Algorithmen erkannt werden (beispielsweise durch die Erkennung der Pfanne).
-
Mit Hilfe dieser Zuordnung können nun relevante Informationen automatisch ermittelt werden. Wird beispielsweise erkannt, dass zunächst die Pfanne leer ist, dann jedoch eine Flüssigkeit eingefüllt wird, kann beim Abgleich mit dem Rezept ermittelt werden, dass es sich bei dieser Flüssigkeit um Öl handeln sollte (R1). Werden Festkörper der Pfanne zugeführt, sollte es sich um Fleisch handeln (R3). Nähert sich eine Hand der Pfanne mit einem unbekannten Objekt, wird es sich vermutlich bei diesem Objekt um ein Rührinstrument handeln.
-
Diese Informationen (Flüssigkeit = Öl, Festkörper = Fleisch, Objekt = Rührinstrument) können in dem Videobild markiert werden. Das so markierte oder indizierte Videobild und insbesondere die darin enthaltenen Informationen können anschließend beispielsweise verwendet werden, um Algorithmen zur Objekterkennung zu trainieren oder um während des Kochvorgangs zusätzliche Informationen zur Verfügung zu stellen (beispielsweise Information „Fleisch bitte umrühren“, „Öl ist heiß“).
-
Das aufwändige manuelle Klassifizieren von Objekten kann mit der vorliegenden Erfindung somit stark vereinfacht werden.
-
Bezugszeichenliste
-
- 1
- System
- 10
- Erfassungseinheit
- 100
- Erfassungsbereich
- 2
- Dunstabzugshaube
- 3
- Kochfeld
- 30
- Bedienfeld
- 4
- mobiles Endgerät
