-
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung von Objekten in dem gekühlten Innenraum eines Kühl- und/oder Gefriergerätes.
-
Aus dem Stand der Technik sind Kühl- und/oder Gefriergeräte bekannt, die dazu in der Lage sind, eine geringe Anzahl an spezifischen Objekten, wie z.B. Früchte und Gemüse zu erkennen.
-
Dies ist zwar für einen Nutzer des Gerätes insofern hilfreich, als dass ihm z.B. auf sein Handy oder dergleichen mitgeteilt bzw. angezeigt werden kann, dass diese spezifischen Objekte in seinem Kühlgerät vorhanden sind. Die bekannte Lösung ist allerdings insofern unbefriedigend, als dass das Gerät aufgrund der erheblichen Anzahl von unterschiedlichen Objekten nicht dazu in der Lage ist, alle denkbaren in dem gekühlten Innenraum befindlichen Objekte zu erkennen.
-
Die Anzahl unterschiedlicher Objekte an Kühl- bzw. Gefriergut liegt allein in Deutschland bei über 50.000 und es ist nach dem bekannten Stand der Technik nicht möglich, ein Kühl- bzw. Gefriergerät dahingehend auszubilden, dass dieses all diese verschiedenen Objekte zu erkennen vermag. Kein bekanntes „machine learning“ Verfahren kann eine derartige Vielzahl von Objekten erkennen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art dahingehend weiterzubilden, dass bei jedem einzelnen Nutzer eines Kühl- bzw. Gefriergerätes die Möglichkeit geschaffen wird, dass sämtliche Objekte, die sich in dem gekühlten Innenraum des Gerätes dieses Nutzers befinden, erkannt werden.
-
Durch die vorliegende Erfindung soll somit die Möglichkeit geschaffen werden, dass bei jedem einzelnen Benutzer (bzw. Haushalt) dessen Objekte in seinem Kühl- bzw. Gefriergerät erkannt werden können.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst.
-
Danach ist vorgesehen, dass durch das Kühl- und/oder Gefriergerät ein Foto von dem gekühlten Innenraum einschließlich des Geräteinhalts in Form eines oder mehrerer Objekte aufgenommen wird, dass dieses Foto einer Objekt-Erkennungseinheit zugeführt wird, die über ein nutzerspezifisches lernfähiges System verfügt oder mit diesem verbunden ist, wobei das System mit nutzerspezifischen Objekten trainiert wurde, und dass das Ergebnis der Objekt-Erkennung abrufbar gespeichert wird, so dass der Nutzer des Gerätes darauf zugreifen kann.
-
Der vorliegenden Erfindung liegt somit der Gedanke zugrunde, den Erkennungs-prozess von Objekten nutzerspezifisch durchzuführen.
-
Somit muss das Gerät nicht alle denkbaren Objekte kennen und erkennen können, sondern nur die, die der Nutzer tatsächlich hat bzw. benötigt.
-
Der Objekt-Erkennungs-Prozess wird somit mithilfe des einzelnen Benutzers auf diesen abgestimmt.
-
Das lernfähige System muss somit nicht alle bestehenden Objekte erkennen können. Vielmehr reicht es aus, wenn es die Untergruppe von allen Objekten erkennt, die ein Nutzer besitzt. Diese Untergruppe ist eine Teilmenge von allen denkbaren Objekten.
-
Benötigt der Nutzer beispielsweise kein Jogurt oder keine sonstigen Milchprodukte, besteht auch keine Notwendigkeit, das selbstlernende System mit Informationen zu diesen Produkten zu versorgen. Vielmehr ist es ausreichend, wenn das System mit Informationen nur zu den Produkten versorgt wird, die der Nutzer in dem gekühlten Innenraum lagert oder beabsichtigt zu lagern.
-
Kommt ein neues Produkt hinzu, das der Nutzer zum ersten Mal in dem gekühlten Innenraum lagert, wird der Nutzer in das Training der Erkennung einbezogen, indem der Nutzer das Objekt selbst spezifiziert, d.h. benennt. Dies kann beispielsweise dadurch erfolgen, dass der Nutzer das Objekt fotografieren lässt oder ein Bild von dem Produkt in das selbstlernende System einspeist und es sodann benennt.
-
Liegen genügend Bilder von dem Objekt vor, kann das selbstlernende System trainiert werden, wobei der Erkennungseffekt umso größer ist, je mehr Bilder von einem Objekt in dem System vorliegen.
-
Bei dem nutzerspezifischen, lernfähigen System kann es sich beispielsweise um ein nutzerspezifisches neuronales Netz handeln.
-
Vorzugsweise wird das Foto von dem Geräteinhalt beim Schließen oder nach dem Schließen, vorzugsweise bei jedem Schließen oder nach jedem Schließen des Verschlusselementes, insbesondere der Tür des Gerätes aufgenommen. Die Kamera, die das Foto aufnimmt, kann einen integralen Bestandteil des Kühl- und/oder Gefriergerätes bilden oder auch lösbar und ggf. nachrüstbar an dem Gerät angeordnet sein. Vorzugsweise ist die Kamera je nach Nutzerwunsch an unterschiedlichen Positionen am oder im Gerät positionierbar.
-
An dieser Stelle wird darauf hingewiesen, dass der Begriff „gekühlter Innenraum“ oder „Geräteinhalt“ auch die Tür oder ein sonstiges Verschlusselement bzw. das darin gelagerte Kühl- bzw. Gefriergut umfasst. Somit ist es denkbar, dass Lagergut erfasst wird, das sich in einem Türabsteller befindet.
-
Vorzugsweise werden nach der Aufnahme des Fotos das oder die Objekte in dem gekühlten Innenraum lokalisiert. Dies erfolgt vorzugsweise über einen generischen Ansatz, d.h. nutzerunabhängig.
-
Nach dieser Lokalisierung, z.B. einer Tube im Türabsteller und einem Becher auf dem obersten Ablageboden etc., klassifiziert die Objekt-Erkennungseinheit die Objekte unter Nutzung des selbstlernenden Systems für einen spezifischen Nutzer, wobei dieses selbstlernende System insofern nutzerspezifisch ist, als dass es vorzugsweise nur mit Objekten bzw. Fotos des Geräteinnenraums dieses Nutzers trainiert wurde.
-
An dieser Stelle wird darauf hingewiesen, dass unter „Nutzer“ nicht zwingend nur eine einzige Person verstanden werden muss, wenngleich auch dies eine mögliche Ausführung ist. Unter den Begriff „Nutzer“ fallen auch mehrere Personen, z.B. die Mitglieder eines Haushaltes.
-
In einer Ausführungsform wird das Foto von dem gekühlten Innenraum in eine Cloud übertragen.
-
Ferner ist es möglich, dass das Ergebnis der Objekt-Erkennung, d.h. z.B. wie viele bzw. welches Objekt befindet sich z.B. an welcher Position in dem gekühlten Innenraum etc. über die Cloud dem Benutzer des Gerätes angezeigt wird.
-
Diese Anzeige kann beispielsweise auf einem mobilen Endgerät des Nutzers, wie z.B. einem Handy oder Tablet erfolgen. So kann dem Nutzer beispielsweise eine Liste von all den Waren angezeigt werden, die sich derzeit in seinem Kühl- bzw. Gefriergerät befinden. Wie spezifisch diese Liste ist, hängt davon ab, wie spezifisch der Nutzer Informationen zu dem fraglichen Produkt eingegeben hat, also z.B. nur „Jogurt“ oder „Jogurt der Marke ...“ oder „Jogurt mit ... Fettanteil“ etc.
-
Anstatt einer Liste ist auch jede beliebige andere Darstellungsform denkbar und von der Erfindung umfasst.
-
Zum Trainieren des selbstlernenden Systems können Objekte nach visuellen Ähnlichkeiten gruppiert werden, so dass Objekt-Gruppen gebildet werden.
-
Es können neue Bilder von bereits bekannten Objekten einer bestehenden Gruppe von Objekten zugefügt werden. Kauft der Nutzer eine neue Jogurt-Sorte, kann der Nutzer ein Bild dieser Sorte dem System zuführen bzw. es kann ein Foto von diesem neuen Produkt aufgenommen werden, um damit eine neue Objekt-Gruppe zu erstellen.
-
Auch an diesem Beispiel wird deutlich, dass das System nicht alle auf dem Markt verfügbaren Jogurtsorten etc. kennen muss. Vielmehr reicht es aus, wenn das System das oder die Objekte bzw. Produkte kennt, die der Nutzer auch tatsächlich hat bzw. benötigt.
-
Um auch bisher dem System unbekannte Objekte erfassen zu können, kann vorgesehen sein, dass ein Objekt für eine neue Objektgruppe vom Nutzer des Gerätes selbst spezifiziert wird, indem es beispielsweise mit einem Namen versehen wird.
-
Auch ist es denkbar, dass nutzerseitig eine Korrektur der Zuordnung von Objekten zu Objektgruppen oder eine Korrektur der Objektgruppen möglich ist.
-
Die vorliegende Erfindung betrifft des Weiteren ein Kühl- und/oder Gefriergerät mit einem gekühlten Innenraum und mit einem Verschlusselement, insbesondere einer Tür, mittels derer der gekühlte Innenraum verschließbar ist, wobei das Gerät mit einem Controller ausgeführt ist oder mit einem Controller verbunden bzw. verbindbar ist, wobei der Controller ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
-
Der vorgenannte Controller befindet sich vorzugsweise in einer Cloud, d.h. ist vorzugsweise nicht Bestandteil des Kühl- und/oder Gefriergerätes.
-
An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente.
-
Weitere Einzelheiten und Vorteile der Erfindung werden anhand eines im Folgenden beschriebenen Ausführungsbeispiels näher erläutert.
-
Das Ausführungsbeispiel bezieht sich auf einen Kühlschrank, gilt aber für sämtliche anderen Kühl- und/oder Gefriergeräte analog.
-
In einem ersten Schritt öffnet der Benutzer die Kühlschranktüre zur Entnahme/Einlagerung von Objekten. Bei jeder Türschließung wird mindestens ein Foto des Kühlschrankinnenraums (und optional der Kühlschranktüre) gemacht und in die Cloud übertragen.
-
Zunächst werden über einen generischen Ansatz, d.h. benutzerunabhängig die einzelnen Objekte im Kühlschrank lokalisiert.
-
Anschließend klassifiziert die nutzer-/gerätespezifische Objekt-Erkennungseinheit die Objekte mit dem spezifischen neuronalen Netz für diesen Benutzer (bzw. Haushalt), welches nur mit seinen Kühlschrankbildern trainiert wurde.
-
Die Ergebnisse werden gespeichert und über die Cloud dem Benutzer in der App oder anderweitig angezeigt.
-
Auf diesen Ergebnissen können nun noch weitere Features aufbauen (z.B. Verbrauchsempfehlungen, Einkaufsempfehlungen, ... ).
-
Zu einem späteren Zeitpunkt beginnt das Training für das benutzerspezifische neuronale Netz. Die nutzer- bzw. gerätespezifische Objekt-Erkennungseinheit sucht das spezifische neuronale Netz für diesen Benutzer, welches nur mit seinen Kühlschrankbildern trainiert wurde.
-
Alle Objekte werden nach visuellen Ähnlichkeiten gruppiert bzw. neue Bilder von bereits bekannten Objekten werden den bestehenden Objekt Gruppen zugefügt.
-
Wenn eine Objekt Gruppe genügend Bilder hat, kann mit diesen das neuronale Netz trainiert werden. Für eine neue Objekt-Gruppe wird das Objekt vom Benutzer selbst spezifiziert. Zeitgleich oder zeitlich versetzt könnte der Benutzer auch entsprechende Korrekturen vornehmen (z.B. falsch eingruppierte Objekte entfernen oder unterschiedliche Objekt-Gruppen desselben Objekts zusammenfügen).
-
Vorzugsweise betrifft die vorliegende Erfindung einen Kühlschrank oder ein sonstiges Kühl- und/oder Gefriergerät und mindestens eine modulare/installierte Kamera im Kühlschrank etc. sowie den beschriebenen Prozess zur Anwendung des benutzerspezifischen neuronalen Netzes sowie den ebenfalls oben beschriebenen Prozess zum Training des benutzerspezifischen neuronalen Netzes.
-
Vorzugsweise ist vorgesehen, dass für jeden einzelnen Benutzer (bzw. Haushalt) ein eigens für ihn gespeichertes neuronales Netz trainiert wird und dass der Nutzer in dieses Training mit einbezogen wird.
-
Auf diese Weise wird die Anzahl der verschiedenen Objekte geringgehalten und man erhält die Bilder bzw. die Fotos und die Objekt-Bezeichnung vom Benutzer selbst.