DE102015210899A1 - Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät - Google Patents

Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät Download PDF

Info

Publication number
DE102015210899A1
DE102015210899A1 DE102015210899.6A DE102015210899A DE102015210899A1 DE 102015210899 A1 DE102015210899 A1 DE 102015210899A1 DE 102015210899 A DE102015210899 A DE 102015210899A DE 102015210899 A1 DE102015210899 A1 DE 102015210899A1
Authority
DE
Germany
Prior art keywords
household appliance
information
recording
display device
appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015210899.6A
Other languages
English (en)
Inventor
Jochen Grimminger
Astrid Klingshirn
Martin Gebler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Priority to DE102015210899.6A priority Critical patent/DE102015210899A1/de
Priority to PCT/EP2016/061802 priority patent/WO2016202544A1/de
Priority to US15/736,111 priority patent/US20180172343A1/en
Priority to CN201680034581.8A priority patent/CN107735636A/zh
Publication of DE102015210899A1 publication Critical patent/DE102015210899A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/06Sensors detecting the presence of a product

Abstract

Es wird ein Verfahren angegeben mit den folgenden Schritten: Erstellen einer Aufnahme vom Innenraum eines Haushaltsgeräts mittels einer Kamera, Erkennen mindestens eines Objekts in der Aufnahme, Editieren des Objekts. Auch werden entsprechende Vorrichtungen und Systeme vorgeschlagen.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Haushaltsgeräts sowie ein entsprechendes Haushaltsgerät und ein System mit einem Haushaltsgerät.
  • Es ist bekannt, in einem Haushaltsgerät, z.B. einem Kühlschrank, eine Kamera zu verwenden, die zu bestimmten Zeiten das Innere des Kühlschranks oder einen Teil davon aufnimmt. Die Kamera kann z.B. beim Öffnen und/oder Schließen der Kühlschranktüre eine Aufnahme vom Inneren des Kühlschranks erstellen, z.B. von den Lebensmitteln oder sonstigen Gegenständen, die sich gerade im Kühlschrank befinden. Eine solche Aufnahme kann entsprechend auch im geschlossenen Zustand des Kühlschranks gemacht werden.
  • Beispielsweise ist es möglich, dass hierzu ein Sensor vorgesehen ist, der ein Öffnen und/oder ein Schließen der Kühlschranktüre erkennt. Dies kann z.B. mittels eines magnetischen Sensors oder eines sonstigen Schalters erfolgen. Die von der Kamera erstellte Aufnahme wird z.B. über eine drahtlose oder drahtgebundene Verbindung in einem Speicher abgelegt. Der Speicher kann z.B. ein Speicher des Haushaltsgeräts oder ein Speicher eines Computers oder eines Computernetzwerks sein. Insbesondere kann die Aufnahme über eine Netzwerkschnittstelle auf einer zentralen Datenbank, die z.B. über das Internet angebunden ist, gespeichert werden.
  • Wird mit jedem Öffnen und/oder Schließen mindestens eine Aufnahme vom Inhalt des Haushaltsgeräts gemacht, so kann anhand der Veränderungen zwischen unterschiedlichen Aufnahmen, die im Verlauf der Benutzung des Haushaltsgeräts entstehen, auf ein Einstellen von Waren in das Haushaltsgerät und auf ein entsprechendes Entnehmen der Waren rückgeschlossen werden. Diese Information kann für unterschiedliche Zwecke weiterverarbeitet werden.
  • Hierbei ist es problematisch, dass es eine Vielzahl von wiederverwendbaren Behältern gibt, die auf der Aufnahme erscheinen und keinen Rückschluss auf deren Inhalt liefern. Dies gilt z.B. für universell verwendbare wiederverschließbare Behälter.
  • Die Aufgabe besteht darin, ein bestehendes Haushaltsgerät so zu verbessern, dass auch ein effizienter Umgang mit unterschiedlichen Behältern möglich wird.
  • Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich auch aus den abhängigen Ansprüchen.
  • Zur Lösung der Aufgabe wird ein Verfahren angegeben mit den folgenden Schritten:
    • – Erstellen einer Aufnahme vom Innenraum eines Haushaltsgeräts mittels einer Kamera,
    • – Erkennen mindestens eines Objekts in der Aufnahme,
    • – Editieren des Objekts.
  • Das Verfahren kann z.B. ganz oder teilweise in dem Haushaltsgerät ablaufen. Insbesondere ist es möglich, dass die Erkennung des Objekts und/oder das Editieren des Objekts in oder an dem Haushaltsgerät durchgeführt werden. Optional können diese Schritte auch separat zu dem Haushaltsgerät durchgeführt werden, in mindestens einer externen Komponente, die z.B. über eine Kommunikationsschnittstelle mit dem Haushaltsgerät verbunden ist. Beispielsweise kann die Erkennung des Objekts in einem zentralen Rechner durchgeführt werden, der ebenso wie das Haushaltsgerät mit dem Internet verbunden ist. Das Editieren des Objekts kann z.B. auf oder mithilfe des zentralen Rechners durchgeführt werden. Optional kann das Editieren auch auf einem anderen Gerät, z.B. einem mobilen Endgerät (z.B. Smartphone) durchgeführt werden. Gemäß einer weiteren Option kann die Erkennung zumindest anteilig oder auch vollständig mittels eines auf dem Endgerät ablaufenden Programms mit oder ohne Unterstützung des Benutzers erfolgen.
  • Die Aufnahme kann von einer Kamera des Haushaltsgeräts erstellt werden. Die Aufnahme kann in einem Speicher des Haushaltsgeräts, in einem externen Speicher und/oder in einem Netzwerkspeicher abgespeichert werden. Grundsätzlich ist es möglich, die hier beispielhaft erwähnten Anwendungsfälle beliebig miteinander zu kombinieren. So könnte die Aufnahme über eine WLAN-Schnittstelle von dem Haushaltsgerät über das Internet direkt an ein Smartphone übertragen werden, das entweder über eine WLAN-Schnittstelle oder über eine sonstige drahtlose Kommunikationsverbindung (z.B. 3G oder 4G) mit dem Internet verbindbar ist. Die Erkennung des Objekts sowie das Editieren des Objekts könnte gemäß diesem Beispiel auf dem mobilen Endgerät durchgeführt werden. Hierzu kann das mobile Endgerät ein spezielles Programm (eine sogenannte "App") aufweisen.
  • Eine Weiterbildung ist es, dass das Editieren des Objekts umfasst: Erstellen, Ändern oder Löschen einer Information, die mit dem Objekt assoziiert ist.
  • Zum Editieren kann das Haushaltsgerät ein Anzeigegerät (mit einem Bildschirm und einer Eingabeschnittstelle) aufweisen. Auch kann ein externes Anzeigegerät, das mit dem Haushaltsgerät koppelbar ist, verwendet werden. Ferner ist es eine Option, dass das externe Anzeigegerät mit einem Speicher, auf dem die Aufnahmen abgespeichert sind koppelbar ist.
  • Eine andere Weiterbildung ist es, dass die Information mindestens eine aus den Folgenden umfasst:
    • – einen Inhalt des Objekts;
    • – einen Verwendungszweck des Objekts;
    • – einen Besitzer des Objekts;
    • – eine Anweisung betreffend das Objekt;
    • – eine Bedingung, die mit dem Objekt verknüpft ist;
    • – eine vorgegebene Aktion, die auszuführen ist, falls eine Bedingung erfüllt ist.
  • Die vorgegebene Aktion kann vielfältig sein. Beispielsweise kann automatisch eine Kommunikation mit anderen Diensten aufgebaut werden. Insbesondere kann erkannt werden, dass mindestens ein Gegenstand (z.B. Milch) in dem Kühlschrank fehlt und es kann automatisch eine Nachbestellung des Gegenstands ausgelöst werden. So ist es eine Option, dass der Gegenstand – sofern vorhanden – einen bestimmten Platz in dem Kühlschrank belegt oder in einem bestimmten Bereich des Kühlschranks angeordnet ist. Damit kann automatisch festgestellt werden, wenn der Gegenstand fehlt bzw. verbraucht wurde. Beispielsweise wird beim Entnehmen des Gegenstands aus dem Kühlschrank ein Zeitgeber (Timer) gestartet. Falls der Gegenstand nicht innerhalb einer vorgegebenen Zeit (z.B. 1 Stunde) zurückgestellt wird, wird angenommen, dass der Gegenstand verbraucht wurde und es kann die Nachbestellung ausgelöst werden. Entsprechend gibt es eine Vielzahl von Option zur Erkennung von Gegenständen in dem Kühlschrank als auch von möglichen Optionen, die an die Erkennung oder Nicht-Erkennung gekoppelt sein können.
  • Insbesondere ist es möglich, dass als Information mindestens eine Bedingung verknüpft ist. Diese Bedingung kann regelmäßig, z.B. jeden Tag oder abhängig von bestimmten Parametern, z.B. einer Temperatur oder von anderen Objekten, automatisch geprüft werden. Ist die Bedingung erfüllt, so wird eine vorgegebene Aktion eingeleitet. Ein Beispiel ist die Anzeige von Waren, deren Verfallsdatum abgelaufen ist und/oder in Kürze abläuft. Ein anderes Beispiel ist die Ausgabe einer Warnung, wenn die Temperatur in dem Haushaltsgerät eine für dieses Produkt kritische Schwelle erreicht.
  • Insbesondere ist es eine Weiterbildung, dass das Haushaltsgerät eines der folgenden Geräte ist:
    • – ein Küchengerät,
    • – ein Gargerät,
    • – ein Kühl- und/oder Gefriergerät.
  • Das Kühl- und/oder Gefriergerät wird hier auch als Kühlschrank bezeichnet.
  • Auch ist es eine Weiterbildung, dass die Kamera derart angeordnet ist, dass beim Öffnen und/oder Schließen einer Türe des Haushaltsgeräts die Aufnahme erstellt wird.
  • Zur Lösung der Aufgabe wird weiterhin ein Haushaltsgerät vorgeschlagen mit einer Verarbeitungseinheit zur Durchführung des hier beschriebenen Verfahrens.
  • Weiterhin wird die Aufgabe gelöst anhand eines Systems, das ein Haushaltsgerät und mindestens eine weitere Komponente umfasst,
    • – wobei das Haushaltsgerät eine Kamera aufweist zum Erstellen einer Aufnahme vom Innenraum eines Haushaltsgeräts,
    • – wobei die mindestens eine weitere Komponente eine Verarbeitungseinheit aufweist zum
    • – Erkennen mindestens eines Objekts in der Aufnahme,
    • – Editieren des Objekts.
  • Die hier genannte Verarbeitungseinheit kann insbesondere als eine Prozessoreinheit und/oder eine zumindest teilweise festverdrahtete oder logische Schaltungsanordnung ausgeführt sein, die beispielsweise derart eingerichtet ist, dass das Verfahren wie hierin beschrieben durchführbar ist. Besagte Verarbeitungseinheit kann jede Art von Prozessor oder Rechner oder Computer mit entsprechend notwendiger Peripherie (Speicher, Input/Output-Schnittstellen, Ein-Ausgabe-Geräte, etc.) sein oder umfassen.
  • Die vorstehenden Erläuterungen betreffend das Verfahren gelten für die Vorrichtung bzw. das System entsprechend.
  • Eine Weiterbildung ist es, dass die mindestens eine weitere Komponente einen Speicher umfasst, der über eine Netzwerkschnittstelle zugänglich ist und auf dem die Aufnahme von der Kamera speicherbar ist.
  • Ferner ist es eine Weiterbildung, dass die mindestens eine weitere Komponente ein Anzeigegerät mit einer Eingabeschnittstelle und einem Bildschirm aufweist, wobei anhand der Eingabeschnittstelle das Objekt editierbar ist und wobei anhand des Bildschirm das Objekt und eine Information darstellbar ist.
  • Im Rahmen einer zusätzlichen Weiterbildung ist das Anzeigegerät ein Smartphone oder ein Computer.
  • Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung dargestellt und erläutert.
  • Es zeigt:
  • 1 beispielhaft ein schematisches Blockdiagramm umfassend einen Kühlschrank mit einer Türe, einer Kamera und einer Verarbeitungseinheit in einer symbolischen Schnittansicht.
  • Der hier beschriebene Vorschlag ermöglicht es einem Benutzer zu erkennen, was in einem beliebigen Behältnis (z.B. einer universellen wiederverschließbaren Dose, einer Verpackung, etc.), die sich in einem Haushaltsgerät befindet, enthalten ist. Hierzu wird das Behältnis von einer Kamera aufgenommen, die Aufnahme einer Objekterkennung unterzogen und das Behältnis als Objekt der Aufnahme erkannt. Die Kamera kann z.B. in dem Haushaltsgerät angeordnet sein. Beim Öffnen und/oder Schließen der Türe des Haushaltsgeräts kann die Aufnahme erstellt werden.
  • Das erkannte Objekt wird editiert, d.h. z.B. mit einer Information belegt bzw. verknüpft. Die Information kann eine Markierung, einen Text, ein Symbol, eine Farbe, etc. umfassen. Die Information kann für den Benutzer mit einem Inhalt des Behältnisses verknüpft sein. Anhand der Information ist es also möglich, dass der Benutzer den Inhalt des Behältnisses erkennt.
  • Das Objekt wird editiert, indem z.B. das erkannte Objekt eingefärbt wird und/oder mit einem Text belegt wird. Beispielsweise kann die Aufnahme um die Information ergänzt werden und die Information wird mit der Aufnahme verknüpft gespeichert. Betrachtet der Benutzer die Aufnahme, so sieht er auch die Information und kann unmittelbar den Inhalt des Behältnisses erkennen. Optional ist es möglich, dass der Benutzer die Information durch eine Aktion sichtbar macht bzw. die Information in Folge der Aktion dargestellt wird. So kann die Übersichtlichkeit der Darstellung dadurch verbessert werden, dass nicht alle Informationen immer dargestellt werden.
  • Hierbei ist es von Vorteil, dass die Information jedem Benutzer, der das Haushaltsgerät verwendet, angeboten werden kann. Beispielsweise kann die Information auf einem Anzeigegerät dargestellt werden. Das Anzeigegerät kann Teil des Haushaltsgeräts sein oder es kann Teil eines Computers, z.B. eines Smartphones oder eines beliebigen (mobilen oder stationären) Computers sein. Die Aufnahme mit oder ohne Information kann z.B. von dem Haushaltsgerät über eine Schnittstelle weitergeleitet und in einem Netzwerk gespeichert werden. Die Information kann bereits an dem Haushaltsgerät bereitgestellt werden oder sie kann ergänzt oder geändert werden, nachdem die Aufnahme (mit oder ohne Information) z.B. in dem Haushaltsgerät, in einem angeschlossenen Speicher und/oder in dem Netzwerk gespeichert wurde.
  • Die Information kann den Inhalt des Behältnisses, eine Zweckangabe (z.B. im Rahmen eines Rezeptes), eine mögliche Verwendung, einen Besitzer, eine Bedingung (z.B. Verfallsdatum) o.ä. umfassen.
  • Die Information kann mit mindestens einer vorgegebenen Aktion verknüpft sein: Wählt der Benutzer als Information ein Verfallsdatum, kann vor, mit oder nach dem Erreichen dieses Verfallsdatums eine vorgegeben Aktion eingeleitet werden: Beispielsweise kann zwei Tage vor Erreichen des Verfallsdatums eine Nachricht angezeigt werden (z.B. an dem Anzeigegerät), dass die Ware in dem Behältnis verzehrt werden sollte (dabei kann z.B. das Behältnis und die Ware sowie deren anstehendes Verfallsdatum bzw. die Zeit bis zum Verfall angezeigt werden). Auf diese Art könnte auch ein Countdown für in einem bevorstehenden Zeitraum, z.B. die nächsten zehn Tage, verfallende Waren angezeigt werden. Damit kann wirksam sichergestellt sein, dass der Benutzer die Waren rechtzeitig vor Erreichen des Verfallsdatums aufbrauchen kann bzw. dass sich keine Waren in dem Kühlschrank befinden, deren Ablauf des Verfallsdatums der Benutzer nicht mitbekommen hat.
  • In einem anderen Beispiel kann die Temperatur des Kühlschranks angepasst werden in Abhängigkeit von der Information: Gibt der Benutzer als Information eine bestimmte Ware an, für die in einer Tabelle der Verarbeitungseinheit eine bevorzugte Temperatur (oder ein Temperaturbereich) hinterlegt ist, so kann der Kühlschrank z.B. für einen Bereich, in dem sich das Behältnis befindet, die Temperatur entsprechend anpassen.
  • Ein Vorteil besteht darin, dass auch ein Verschieben des Objekts im Kühlschrank erkannt werden kann und damit auch die Information mit dem Objekt in dem Kühlschrank virtuell mitwandert. So kann auf dem Anzeigegerät der Inhalt des Kühlschranks, also die erkannten Objekte, stets aktuell zusammen mit den Informationen dargestellt werden. Optional kann die Information zu dem Objekt gelöscht oder aktualisiert werden. Dies ermöglicht eine vielfältige Nutzung des erkannten Objekts als Behältnis für unterschiedliche Waren.
  • Die Information kann auf unterschiedliche Arten mit in der Aufnahme erkannten Objekten verknüpft werden. Beispielsweise kann die Information transparent, vergrößert, verkleinert, verschoben, mit Pfeilen oder Linien auf das Objekt weisend, etc. dargestellt werden. Auch ist es möglich, dass der Inhalt des Kühlschranks virtuell auf dem Anzeigegerät dargestellt wird, indem die erkannten Objekte virtuell auf dem Bildschirm verschoben werden. Entsprechend können die Informationen zusammen mit den virtuellen Operationen neu aufgebaut und dargestellt werden. Auch ist es möglich, dass eine von der tatsächlichen Position des Objekts im Kühlschrank unabhängige (ggf. sortierte Liste) dargestellt wird, die die erkannten Objekte mit den Informationen z.B. tabellarisch oder auf eine sonstige Art sortiert zeigt. Die Information kann als ein Sortierkriterium für eine derartige Darstellung dienen.
  • Ergänzend sei angemerkt, dass die Information in unterschiedlichen Darstellungen auf dem Anzeigegerät editiert werden kann. Beispielsweise kann die Information ergänzt, erstmalig angelegt oder gelöscht werden. Auch kann die Information mit Bedingungen versehen werden oder es können zuvor angelegte Bedingungen gelöscht werden. Weiterhin kann die Information allen Benutzern oder einer Auswahl von Benutzern dargestellt werden. Beispielsweise ist es möglich, bestimmten Benutzern den Inhalt "Kekse" eines Behältnisses anzuzeigen und anderen Benutzern eine andere Information statt des Inhalts anzuzeigen, z.B. "Besitzer: Karl, bitte nicht essen!".
  • Ferner ist es möglich, dass die Information Vorschläge zur Lagerung (Ort der Lagerung, Zeitdauer der Lagerung, Temperatur der Lagerung, etc.) eines Gegenstands in dem Haushaltsgerät, insbesondere zur Veränderung der Lagerung, umfasst.
  • Das Anzeigegerät kann Teil des Haushaltsgeräts sein. Es ist auch möglich, dass das Anzeigegerät ein herkömmlicher Computer (z.B. Laptop, Personal Computer, etc.) ist. Weiterhin kann ein Smartphone als Anzeigegerät genutzt werden. Beispielsweise kann eine Anwendung (auch: Anwendungsprogramm, App) auf dem Smartphone installiert sein, so dass das Smartphone als Anzeigegerät für das Haushaltsgerät genutzt werden kann.
  • Über das Anzeigegerät kann die Information editiert werden. Auch kann der Inhalt des Haushaltsgeräts (aktueller Inhalt gemäß zuletzt gemachter Aufnahme ggf. unter Berücksichtigung vorheriger Aufnahmen) virtuell auf dem Anzeigegerät dargestellt werden. Weiterhin können Auswertungen (z.B. hinsichtlich des Verfallsdatums oder hinsichtlich möglicher Rezepte) mithilfe des Anzeigegeräts durchgeführt werden.
  • In diesem Sinne umfasst das Anzeigegerät beispielsweise eine Prozessoreinheit, die mittels eines Programms und mittels der Aufnahme ein Editieren und/oder Verarbeiten der Information ermöglicht.
  • Hierbei kann ein Teil der Verarbeitung, z.B. ein Erkennen von Objekten in den Aufnahmen der Kamera, bereits von dem Haushaltsgerät vorgenommen werden oder es können von dem Haushaltsgerät Aufnahmen an eine externe Verarbeitungseinheit, z.B. in einem Netzwerk, übermittelt werden. Dort können (allein oder ergänzend) Verarbeitungsschritte z.B. zur Erkennung von Objekten in den Aufnahmen durchgeführt werden. Die Ergebnisse der Verarbeitungen können den unterschiedlichen Anzeigegeräten, z.B. über eine drahtlose oder eine drahtgebundene Schnittstelle, bereitgestellt werden.
  • Eine Option ist es, dass das Haushaltsgerät über eine Verbindung zum Internet verfügt und die Aufnahmen in einen Speicher, der mit dem Internet verbunden ist, lädt. Die Anzeigegeräte können ebenfalls über das Internet auf den Speicher und so auf die dort gespeicherten Aufnahmen, ggf. zusammen mit den gespeicherten Informationen, zugreifen.
  • Die Informationen können zentral gespeichert werden, sie können zusammen oder getrennt von den Aufnahmen gespeichert werden, sie können auch in einem Speicher, der direkt mit dem Haushaltsgerät verbunden oder in diesem angeordnet ist, gespeichert werden. Ferner können die Informationen in dem Anzeigegerät gespeichert werden. Ein Verteilen der Informationen von einem Benutzer zu mindestens noch einem Benutzer ist in all den genannten Fällen möglich, kann optional auch mit Einschränkungen betreffend den Zugriff (z.B. in Form von Benutzerrechten) versehen werden.
  • 1 zeigt beispielhaft ein schematisches Blockdiagramm umfassend einen Kühlschrank 101 mit einer Türe 102 in einer symbolischen Schnittansicht. In 1 ist die Türe 102 geschlossen. Ein Sensor 106 detektiert, ob die Türe 102 offen oder geschlossen ist. Bei Öffnen und/oder Schließen der Türe 102 übermittelt der Sensor 106 ein entsprechendes Signal an eine Verarbeitungseinheit 104. Die Verarbeitungseinheit 104 steuert dann eine Kamera 103 an, so dass diese eine Aufnahme vom Innenraum des Kühlschranks 101 erstellt. Beispielhaft speichert die Verarbeitungseinheit 104 die Aufnahme in einem Speicher 107. Der Speicher 107 kann Teil der Verarbeitungseinheit 104 oder separat zu dieser ausgeführt sein.
  • Ein Anzeigegerät 108 kann extern zu dem Kühlschrank 101 ausgeführt sein. Auch kann das Anzeigegerät 108 die Verarbeitungseinheit 104 nutzen bzw. diese kann Teil des Anzeigegeräts 108 sein. Das Anzeigegerät 108 kann z.B. außen an der Türe 102 des Kühlschranks 101 angeordnet sein und so von dem Benutzer bei geschlossener (oder auch offener) Türe 102 bedient werden. Beispielsweise umfasst das Anzeigegerät 108 eine Eingabeschnittstelle, z.B. eine Tastatur, einen (z.B. berührungsempfindlichen) Bildschirm, ein Zeigegerät, mindestens einen Taster oder eine sonstige Navigationsmöglichkeit. Somit kann dem Benutzer über einen Bildschirm des Anzeigegeräts 108 die Aufnahme mit oder ohne (editierbarer) Information dargestellt werden. Insbesondere kann der Benutzer die Information editierten und so beispielsweise eine Information einem erkannten Objekt der Aufnahme zuordnen. Auf dem Bildschirm des Anzeigegeräts kann somit die Aufnahme mit einer virtuellen Information überlagert werden, wobei die Information beispielhaft das erkannte Objekt ergänzen kann.
  • Die Verarbeitungseinheit 104 kann beispielsweise eingerichtet sein, um mindestens ein Objekt 105 in der von der Kamera gemachten Aufnahme zu erkennen. Das Objekt 105 im Beispiel von 1 ist eine wiederverschließbare universelle undurchsichtige Dose. Diese Dose wird in der Aufnahme erkannt und kann als Objekt von dem Benutzer editiert werden. Ein solches Editieren umfasst beispielhaft ein Zuordnen einer Information zu dem Objekt 105. So kann der Benutzer mittels des Anzeigegeräts 108 die Information "Kekse" mit dem Objekt 105 verknüpfen. Diese Information "Kekse" kann dann auf dem Bildschirm des Anzeigegeräts 108 zusammen mit der Aufnahme angezeigt werden.
  • Beispielsweise ist es auch möglich, dass die Kamera 103 und die Verarbeitungseinheit 104 als eine Komponenten ausgeführt sind. Insbesondere kann eine solche Komponente eine z.B. drahtlose Netzwerkverbindung aufweisen und die erstellten Aufnahmen direkt auf einem über das Internet angeschlossenen Speicher abspeichern. Ein solcher Speicher wird auch bezeichnet als "Cloud-Speicher".
  • In 1 ist weiterhin beispielhaft eine Schnittstelle zwischen der Verarbeitungseinheit 104 und einem Smartphone 123 dargestellt. Hierbei sei erwähnt, dass die gestrichelten Linien in 1 symbolisch eine Übertragung von Signalen oder Daten darstellen. Die Übertragung von Daten zu dem Smartphone 123 kann beispielsweise über eine Funkschnittstelle erfolgen, die zumindest teilweise das Internet nutzt. Hierzu kann die Verarbeitungseinheit 104 selbst eine drahtlose oder drahtgebundene Verbindung zum Internet aufweisen.
  • Das Smartphone 123 stellt ein anderes Beispiel für ein Anzeigegerät dar. Es umfasst eine Eingabemöglichkeit in Form einer (z.B. virtuellen) Tastatur 123 sowie einen Bildschirm 121. Auf dem Bildschirm des Smartphones kann das erkannte Objekt der Dose 105 virtualisiert, z.B. als freigestellte Abbildung 122 der Dose 105 visualisiert werden. Der Benutzer hat die Möglichkeit, eine Information für diese Abbildung 122 einzugeben. Im Beispiel von 1 wird als Information 124 die Zeichenfolge "Kekse" eingegeben und mit der Abbildung 122 verknüpft.
  • Damit kann jedem Benutzer oder einer autorisierten Auswahl von Benutzern die Möglichkeit bereitgestellt werden, bei Betrachten einer Aufnahme vom Inneren des Kühlschranks 101 auch zu erfahren, was sich in dem Objekt 105 befindet. Hierzu wird auf dem Anzeigegerät 108 oder 123 zusammen mit der Aufnahme auch die Information "Kekse" dargestellt.
  • Bezugszeichenliste
  • 101
    Kühlschrank
    102
    Türe
    103
    Kamera
    104
    Verarbeitungseinheit
    105
    Objekt
    106
    Sensor
    107
    Speicher
    108
    Anzeigegerät
    121
    Bildschirm
    122
    Abbildung
    123
    Smartphone
    124
    Information

Claims (10)

  1. Verfahren umfassend die Schritte: – Erstellen einer Aufnahme vom Innenraum eines Haushaltsgeräts mittels einer Kamera, – Erkennen mindestens eines Objekts in der Aufnahme, – Editieren des Objekts.
  2. Verfahren nach Anspruch 1, bei dem das Editieren des Objekts umfasst: Erstellen, Ändern oder Löschen einer Information, die mit dem Objekt assoziiert ist.
  3. Verfahren nach Anspruch 2, bei dem die Information mindestens eine aus den Folgenden umfasst: – einen Inhalt des Objekts; – einen Verwendungszweck des Objekts; – einen Besitzer des Objekts; – eine Anweisung betreffend das Objekt; – eine Bedingung, die mit dem Objekt verknüpft ist; – eine vorgegebene Aktion, die auszuführen ist, falls eine Bedingung erfüllt ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Haushaltsgerät eines der folgenden Geräte ist: – ein Küchengerät, – ein Gargerät, – ein Kühl- und/oder Gefriergerät.
  5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Kamera derart angeordnet ist, dass beim Öffnen und/oder Schließen einer Türe des Haushaltsgeräts die Aufnahme erstellt wird.
  6. Haushaltsgerät mit einer Verarbeitungseinheit zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche.
  7. System mit einem Haushaltsgerät und mindestens einer weiteren Komponente, – wobei das Haushaltsgerät eine Kamera aufweist zum Erstellen einer Aufnahme vom Innenraum des Haushaltsgeräts, – wobei die mindestens eine weitere Komponente eine Verarbeitungseinheit aufweist zum – Erkennen mindestens eines Objekts in der Aufnahme, – Editieren des Objekts.
  8. System nach Anspruch 7, bei dem die mindestens eine weitere Komponente einen Speicher umfasst, der über eine Netzwerkschnittstelle zugänglich ist und auf dem die Aufnahme von der Kamera speicherbar ist.
  9. System nach einem der Ansprüche 7 oder 8, bei dem die mindestens eine weitere Komponente ein Anzeigegerät mit einer Eingabeschnittstelle und einem Bildschirm aufweist, wobei anhand der Eingabeschnittstelle das Objekt editierbar ist und wobei anhand des Bildschirm das Objekt und eine Information darstellbar ist.
  10. System nach Anspruch 9, bei dem das Anzeigegerät ein Smartphone oder ein Computer ist.
DE102015210899.6A 2015-06-15 2015-06-15 Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät Pending DE102015210899A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102015210899.6A DE102015210899A1 (de) 2015-06-15 2015-06-15 Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät
PCT/EP2016/061802 WO2016202544A1 (de) 2015-06-15 2016-05-25 Verfahren zum betreiben eines haushaltsgeräts sowie entsprechendes haushaltsgerät und system mit haushaltsgerät
US15/736,111 US20180172343A1 (en) 2015-06-15 2016-05-25 Method for operating a household appliance, corresponding household appliance and system with a household appliance
CN201680034581.8A CN107735636A (zh) 2015-06-15 2016-05-25 用于操作家用器具的方法、相应的家用器具以及包括家用器具的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015210899.6A DE102015210899A1 (de) 2015-06-15 2015-06-15 Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät

Publications (1)

Publication Number Publication Date
DE102015210899A1 true DE102015210899A1 (de) 2016-12-15

Family

ID=56098230

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015210899.6A Pending DE102015210899A1 (de) 2015-06-15 2015-06-15 Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät

Country Status (4)

Country Link
US (1) US20180172343A1 (de)
CN (1) CN107735636A (de)
DE (1) DE102015210899A1 (de)
WO (1) WO2016202544A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017127418A1 (de) * 2017-11-21 2019-05-23 Miele & Cie. Kg Verfahren und Vorrichtung zum Unterstützen eines Benutzers eines Kühlgeräts beim Lagern von Kühlgut
EP3819844A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
CN109688296A (zh) * 2017-10-18 2019-04-26 富泰华工业(深圳)有限公司 摄像机构及具有该摄像机构的冰箱
CN109683435A (zh) * 2017-10-18 2019-04-26 富泰华工业(深圳)有限公司 摄像头防雾装置及具有该摄像头防雾装置的冰箱
US10655907B2 (en) * 2017-12-15 2020-05-19 International Business Machines Corporation Content and context aware microscopic cooling optimization for refrigerators
US10823496B2 (en) 2017-12-15 2020-11-03 International Business Machines Corporation Content and context aware regional cooling optimization for refrigerators
KR20200037657A (ko) * 2018-10-01 2020-04-09 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
KR20210060856A (ko) * 2019-11-19 2021-05-27 엘지전자 주식회사 냉장고

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164754A1 (en) * 2000-08-18 2003-09-04 Rutger Roseen Method and apparatus for keeping a check on the storage time for goods in a storage
US20140320647A1 (en) * 2013-04-25 2014-10-30 Lg Electronics Inc. Refrigerator and control method for the same

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100541067C (zh) * 2005-07-25 2009-09-16 乐金电子(天津)电器有限公司 食品储藏冰箱和食品储藏方法
KR20070045482A (ko) * 2005-10-27 2007-05-02 엘지전자 주식회사 냉장고 및 식품 보관방법
US7673464B2 (en) * 2006-08-25 2010-03-09 International Business Machines Corporation Method and apparatus for temperature based placement of an item within a storage unit
US8756942B2 (en) * 2010-07-29 2014-06-24 Lg Electronics Inc. Refrigerator and method for controlling the same
US8653949B2 (en) * 2010-12-10 2014-02-18 Cheng-Tzong Lee Intellectual refrigerator combining with portable electric device and control method for the same
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
CN102538379B (zh) * 2011-12-19 2013-08-07 四川长虹电器股份有限公司 一种冰箱食品信息管理装置及方法
CN103363776B (zh) * 2012-03-30 2016-12-07 海尔集团公司 远程自适应调节温度的家电系统及温度调节方法
CN103383747A (zh) * 2012-05-04 2013-11-06 海尔集团公司 冰箱、食品管理系统及方法
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102000448B1 (ko) * 2013-03-27 2019-10-01 엘지전자 주식회사 냉장고
DE102013211099A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
DE102013211096A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
DE102013216762B4 (de) * 2013-08-23 2017-08-17 BSH Hausgeräte GmbH Kältegerät mit einem Kameramodul
CN103604271B (zh) * 2013-11-07 2016-04-13 四川长虹电器股份有限公司 一种基于智能冰箱的食品识别方法
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164754A1 (en) * 2000-08-18 2003-09-04 Rutger Roseen Method and apparatus for keeping a check on the storage time for goods in a storage
US20140320647A1 (en) * 2013-04-25 2014-10-30 Lg Electronics Inc. Refrigerator and control method for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017127418A1 (de) * 2017-11-21 2019-05-23 Miele & Cie. Kg Verfahren und Vorrichtung zum Unterstützen eines Benutzers eines Kühlgeräts beim Lagern von Kühlgut
EP3819844A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung

Also Published As

Publication number Publication date
US20180172343A1 (en) 2018-06-21
WO2016202544A1 (de) 2016-12-22
CN107735636A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
DE102015210899A1 (de) Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät
DE102016012744B4 (de) Robotersystem mit einer CNC-Steuerung und einer Robotersteuereinrichtung, die über ein Kommunikationsnetzwerk miteinander verbunden sind
DE102016124419A1 (de) Gestenbasierte steuerung einer benutzerschnittstelle
DE102019132052A1 (de) Intelligente Internet-der-Dinge-Menüs mit Kameras
DE112016007082T5 (de) Kühlgerätsystem
DE112013002870T5 (de) Benutzerschnittstelle zum Betrachten und Erwerben von Produkten in einem Browser
WO2013023951A1 (de) System für die bedienung mindestens eines hausgerätes sowie dazu gehöriges endgerät und verfahren zum betreiben des benannten systems
WO2018099749A1 (de) Haushaltssystem und verfahren zum betrieb eines haushaltssystems
CN109539684A (zh) 一种智能调节冰箱温湿度的方法及设备
DE102020117545A1 (de) System und methode zur identifizierung von objekten in einem zusammengesetzten objekt
DE102014110866B4 (de) Möbelstück, insbesondere eine Küchenzeile
CN107977204A (zh) 一种列表滑动的处理方法
DE102017125797A1 (de) Temperaturerkennungsvorrichtung für ein Kühlgerät, Kühlgerät mit einer Temperaturerkennungsvorrichtung und Verfahren zum Erkennen einer Temperatur für ein Kühlgerät
CN106288635A (zh) 智能识别冰箱控制界面的管理系统及其控制方法
EP2890056A1 (de) Unterstützung von Nutzern in einer intelligenten häuslichen Umgebung
CN107479795B (zh) 滚动处理方法、装置及电子设备
DE102015210900A1 (de) Verfahren zum Verarbeiten von Daten eines Haushaltsgeräts
CN108874800A (zh) 网页浏览方法及装置
EP3077733B1 (de) Verfahren zur darstellung von prozessinformationen zu einem garvorgang
DE102016207537A1 (de) Kältegerät, Fachboden und Verfahren zur Überwachung von Kühlgut
DE102015118697A1 (de) System zur Nährwertbestimmung
DE112019000650T5 (de) Anzeige-benutzerschnittstelle und verwandte systeme, verfahren und vorrichtungen
EP3719764B1 (de) Warenverkaufsautomat und verfahren
DE102016000595A1 (de) Vorrichtung zur Verwaltung eines Kühlguts in einem Kühl- und/oder Gefriergerät
KR20150002951U (ko) 식품 관리가 가능한 냉장고

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final