-
Die vorliegende Erfindung betrifft ein Verfahren zur Objekterfassung, insbesondere von wenigstens einem Lebensmittel, und bevorzugt zur Vorratsverwaltung im Haushalt. Ferner bezieht sich die Erfindung auf ein System zur Objekterfassung.
-
Aus dem Stand der Technik ist es bekannt, dass verschiedene Sensoren genutzt werden können, um Objekte wie Lebensmittel zu erfassen und zu klassifizieren. Als Sensoren werden hierzu insbesondere Strichcode-Scanner oder dergleichen dazu genutzt, maschinenlesbare Merkmale (wie z. B. Strichcodes) am Objekt einzulesen, und daraus die zur Klassifizierung notwendigen Informationen zu ermitteln. Entsprechend ist bei bekannten Lösungen eine teils aufwendige technische Aufbereitung der Objekte notwendig, damit eine Erfassung durchführbar ist.
-
Bspw. müssen die Objekte jeweils mit einem sogenannten Tag (Strichcode, RFID-Tag oder dergleichen) versehen werden und/oder manuell an eine Kamera bzw. an einem Lesegerät vorbeigeführt werden, damit die Erfassung des Objekts erfolgt. Dies ist häufig mit einem erhöhten Aufwand sowie einer geringeren Genauigkeit und Zuverlässigkeit bei der Objekterfassung verbunden. So kann es bspw. vorkommen, dass die Objekte versehentlich nicht korrekt am Lesegerät vorbeigeführt werden und somit die Erfassung einzelner Objekte ausbleibt. Die Durchführung einzelner Schritte zur Objekterfassung in manueller Weise ist dabei naturgemäß besonders fehleranfällig. Insbesondere bei Lebensmitteln ist es außerdem ein Problem, dass die besondere Aufbereitung und/oder Handhabung zur Erfassung nicht dem gewohnten Umgang mit den Lebensmitteln entspricht. Auch dies führt dazu, dass die Objekterfassung aufwendig ist und nur unzuverlässig erfolgen kann.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, eine zumindest vereinfachte, komfortablere oder zuverlässigere Objekterfassung, insbesondere von Lebensmitteln, zu ermöglichen.
-
Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein System mit den Merkmalen des unabhängigen Vorrichtungsanspruchs. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen System, und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
-
Die Aufgabe wird insbesondere gelöst durch ein Verfahren zur Objekterfassung, bevorzugt von wenigstens einem Objekt, insbesondere von Lebensmitteln bzw. wenigstens einem Lebensmittel (bspw. im Haushalt). Insbesondere dient das erfindungsgemäße Verfahren zur Vorratsverwaltung im Haushalt.
-
Hierbei ist bevorzugt vorgesehen, dass zumindest einer der nachfolgenden Schritte durchgeführt wird, insbesondere nacheinander oder in beliebiger Reihenfolge, wobei vorzugsweise einzelne Schritte auch wiederholt durchgeführt werden können:
- a) Detektieren wenigstens eines Objektereignisses, welches für eine Veränderung, insbesondere einer Objektinformation, wie einer Anzahl und/oder Art und/oder Menge, wenigstens eines Objekts, insbesondere Lebensmittels, an wenigstens einem Aufbewahrungsbereich spezifisch ist, z. B. bei einem Hinzufügen und/oder Entfernen wenigstens eines der Objekte aus dem Aufbewahrungsbereich,
- b) Erfassen von wenigstens einem Objektmerkmal am bzw. vom Objekt und/oder des Objekts durch eine Sensorik in Abhängigkeit von der Detektion des Objektereignisses, z. B. bei der oder ausgelöst (getriggert) durch die Detektion, wobei bevorzugt das Objektmerkmal mit wenigstens einer Objektinformation des Objekts (und/oder am Objekt) korreliert, und wobei vorzugsweise die Erfassung automatisiert (automatisch) am Aufbewahrungsbereich erfolgt, z. B. gesteuert durch eine Verarbeitungseinheit, insbesondere durch eine (bspw. zentrale) Recheneinheit,
- c) Analysieren des (insbesondere gemäß Schritt b)) erfassten Objektmerkmals durch eine (bzw. die) Recheneinheit, sodass die wenigstens eine Objektinformation bestimmt wird, z. B. geschätzt wird,
- d) Speichern der wenigstens einen bestimmten Objektinformation zur Generierung einer Vorratsliste, vorzugsweise mit Informationen über das wenigstens eine Objekt oder mehrere Objekte, welche(s) aktuell und ggf. zuvor erfasst wurde(n), wobei vorzugsweise das Speichern persistent in einer nicht-flüchtigen Datenspeichereinheit erfolgt.
-
Insbesondere ist hierbei ein Vorteil, dass die Erfassung (vollständig oder im wesentlichen Maße bzw. überwiegend) automatisiert erfolgt, sodass das Objekt zur Erfassung des Objektmerkmals nicht manuell an eine Kameraeinheit der Sensorik gehalten und/oder zusätzlich zum Ablegen am Aufbewahrungsbereich an einem Lesegerät der Sensorik vorbeigeführt werden muss. Weiter ist insbesondere ein Vorteil, dass für die Objekterfassung keine besondere Aufbereitung des Objekts erfolgen muss. Dieser Vorteil wird insbesondere dadurch erzielt, dass das (gemäß Schritt b)) erfasste Objektmerkmal nicht (zwangsläufig) als eine Beschreibung der Objektinformation ausgeführt ist (wie bspw. bei einem speziell für die gemäß dem erfindungsgemäßen Verfahren vorgesehene Objekterfassung erzeugten Strichcode), sondern mit der Objektinformation korreliert. Mit anderen Worten wird das Objektmerkmal durch die Objektinformation bedingt (und/oder umgekehrt), d. h. das Objektmerkmal steht insbesondere im Kausalzusammenhang mit der Objektinformation. Bspw. bedingt eine Objektinformation „Füllmenge des Lebensmittels“ das Objektmerkmal „Gewicht des Lebensmittels“. Als ein weiteres Beispiel bedingt die Objektinformation „Produktart“ das Objektmerkmal „Visuelles Erscheinungsbild“ und/oder „Herstellerlogo an der Verpackung“. So ermöglicht z. B. eine bestimmte Geometrie als Objektmerkmal den Rückschluss, dass es sich bei dem Lebensmittel um eine bestimmte Art, wie einen Apfel oder dergleichen, handeln kann (als Objektinformation). Bspw. gibt eine bestimmte Verpackung mit einem bestimmten Aufdruck und/oder einer bestimmten Beschriftung und/oder einer bestimmten Geometrie als Objektmerkmal den Hinweis, dass es sich als Objektinformation um ein bestimmtes Produkt und/oder einen bestimmten Hersteller handeln kann. Insbesondere die Kombination und/oder Analyse verschiedener Objektmerkmale lässt dabei zuverlässig auf eine bestimmte Objektinformation schließen. Diese besondere Auswertung von Objektmerkmalen ermöglicht dabei die besonders zuverlässige und komfortable Erfassung der Objekte.
-
Bevorzugt ist es dabei vorgesehen, dass der Aufbewahrungsbereich verschiedene Aufbewahrungsbereichsabschnitte umfasst, z. B. sämtliche relevanten Aufbewahrungselemente (z. B. in einer Küche, z. B. Regale und/oder Schränke, insbesondere über die gesamte Küche verteilt). Dabei kann die Sensorik mindestens ein Sensorelement umfassen, welches bspw. in einem Boden, Wand oder Decke oder dergleichen des Aufbewahrungselements integriert sein kann. Mit anderen Worten kann ein Sensorelement in wenigstens einem Aufbewahrungsmittel, wie z. B. dem Boden und/oder einer Fläche und/oder einer Tür und/oder einem Türeinsatz, des Aufbewahrungselements angeordnet und/oder integriert sein. Hierdurch kann die Zuverlässigkeit bei der Objekterfassung weiter erhöht werden.
-
Beispielsweise kann es vorgesehen sein, dass (gemäß Schritt b)) unterschiedliche Objektmerkmale erfasst werden, insbesondere durch Bestimmung und/oder Aufnahme einer visuellen Information und/oder Bestimmung und/oder Erfassung einer Gewichtsinformation über das Objekt, wobei die unterschiedlichen Objektmerkmale miteinander verknüpft, insbesondere verglichen, werden können, wobei vorzugsweise zumindest anhand des Ergebnisses dieser Verknüpfung die wenigstens eine Objektinformation bestimmt wird, insbesondere eine Art und/oder Menge und/oder Anzahl des Objekts (insbesondere am Aufbewahrungsbereich, z. B. ausschließlich am Aufbewahrungsbereich). Der Aufbewahrungsbereich ist bspw. innerhalb einer Küche vorgesehen, z. B. in oder an wenigstens einem Aufbewahrungselement, wie einem Regal und/oder Kühlschrank und/oder (Vorrats-)Schrank. Zur Aufbewahrung des Objekts umfasst dabei das Aufbewahrungselement ein oder mehrere Aufbewahrungsmittel, z. B. als ein Regalboden und/oder ein Lebensmittelfach und/oder dergleichen ausgeführt. Die Objektinformation umfasst dabei bspw. eine Information über die Menge des Objekts, insbesondere Lebensmittels, z. B. als eine Information über einen Restinhalt einer Lebensmittelverpackung. Diese Information kann insbesondere durch die Erfassung eines Wiegesensors als Sensorelement ermittelt werden. Um den Informationsgehalt noch weiter zu verbessern kann es bspw. vorgesehen sein, dass die Auswertung des Wiegesensors mit der Auswertung einer Kameraeinheit kombiniert wird. Bspw. kann dann anhand einer Auswertung des entsprechenden Objektmerkmals, insbesondere einer Bildinformation der Kameraeinheit, ermittelt werden, um was für eine Art Lebensmittel es sich bei dem Objekt handelt und/oder wie hoch die ursprüngliche Füllmenge (Ursprungsfüllmenge) des Objekts ist (z. B. anhand einer Verpackungsangabe). Die Ursprungsfüllmenge kann dann bspw. mit der aktuellen Füllmenge (z. B. anhand des Wiegesensors) verglichen werden, um so bspw. eine prozentuale Angabe des Füllstandes zu ermöglichen. Alternativ oder zusätzlich kann auch eine Anzahl des Objekts als Objektinformation bestimmt werden. Im Gegensatz zur Menge ist dabei die Anzahl eine Information über die (absolute) Anzahl der am Aufbewahrungsbereich vorhandenen Objekte (bspw. „5 Packungen Milch“ oder „8 Eier“ oder dergleichen). Auch diese Anzahl kann bspw. mit einer Bezugsgröße, z. B. einer benutzerspezifischen vorgegebenen Anzahl und/oder eines Schwellenwerts, verglichen werden (z. B. müssen immer mindestens 10 Packungen Milch für den Benutzer vorhanden sein). Bei einem Unterschreiten dieses Schwellenwertes durch die tatsächlich vorhandene Anzahl kann bspw. eine Aktion ausgelöst werden (z. B. ein Warnhinweis, eine Bestellaktion von neuen Objekten, ein Aufrufen eines bestimmten Links, bspw. zu einem Online-Shop, oder dergleichen).
-
Es kann weiter möglich sein, dass das Objektmerkmal ein messbares und/oder originäres Merkmal des Objekts ist, und bevorzugt wenigstens eines der nachfolgenden Merkmale umfasst:
- – ein Gewicht des Objekts,
- – eine Verpackungsbeschriftung oder Verpackungsbedruckung einer Verpackung des Objekts,
- – eine Geometrie des Objekts,
- – zumindest eine spektrale Eigenschaft des Objekts,
- – zumindest eine chemische und/oder optische und/oder akustische Eigenschaft des Objekts, z. B. ein Geruch des Objekts,
- – zumindest eine haptische Eigenschaft des Objekts,
- – eine Konsistenz des Objekts.
-
Insbesondere trägt dabei das Objektmerkmal, im Gegensatz zu einem speziell für die (erfindungsgemäße) Objekterfassung erstellten Strichcode bzw. maschinenlesbaren Merkmal, noch nicht unmittelbar die Information über die Objektinformation. Mit anderen Worten muss erst eine Auswertung des Objektmerkmals und/oder Kombination verschiedener Objektmerkmale erfolgen, um so die Objektinformation zu bestimmen, insbesondere zu schätzen. Dies hat den Vorteil, dass die Objekterfassung für den Benutzer deutlich vereinfacht werden kann, und somit weniger fehleranfällig ist.
-
Es kann bevorzugt möglich sein, dass zumindest einer der Schritte a) bis d) für mehrere, insbesondere unterschiedliche, Objekte, bspw. Lebensmittel, durchgeführt wird, sodass insbesondere die Vorratsliste bei jeder der Durchführungen ergänzt und/oder angepasst wird, wobei bevorzugt die Vorratsliste zumindest eine Information über die in der Vorratsliste enthaltenen Objekte umfasst, welche für die bestimmte Objektinformation, insbesondere eine Menge und/oder Anzahl und/oder Art des jeweiligen Objekts (insbesondere am Aufbewahrungsbereich und/oder lediglich am Aufbewahrungsbereich), spezifisch ist.
-
Insbesondere kann es möglich sein, dass das Objekt oder die Objekte jeweils zumindest teilweise als Lebensmittel, insbesondere haushaltsübliche Lebensmittel, bevorzugt als Lebensmittel in einem Kühlschrank und/oder einer Küche und/oder als zumindest teilweise verpackte Lebensmittel, ausgeführt sind. Dabei weist bevorzugt das Lebensmittel diverse originäre Objektmerkmale auf, d. h. Merkmale, welche für das jeweilige Objekt typisch und/oder inhärent sind, z. B. Farbe(n) und/oder Geometrie und/oder Aussehen und/oder Geruch und/oder Konsistenz und/oder Gewicht und/oder Verpackung. Insbesondere umfasst das Lebensmittel als originäres Merkmal die Verpackung, welche ebenfalls weitere originäre Merkmale des Lebensmittels aufweisen kann, z. B. eine Beschriftung, einen RFID-Tag, einen QR-Code, Bilder und/oder den handelsüblichen Strichcode. Insbesondere können diese Merkmale als zu erfassende Objektmerkmale dienen, um so die Objektinformation zu bestimmen (welche sich von dem Objektmerkmal unterscheidet).
-
Insbesondere werden im Rahmen der Erfindung als „originäre Merkmale“ solche Merkmale verstanden, welche für das Objekt typisch sind und/oder (typischerweise) von einem Benutzer (bspw. visuell) zur Identifizierung und/oder Klassifizierung des Objektes genutzt werden können. Dies können bspw. Merkmale des verbrauchbaren Lebensmittels selbst, z. B. Farbe und/oder Konsistenz und/oder Aussehen und/oder Gewicht und/oder dergleichen, oder auch der Verpackung des Lebensmittels, z. B. die Beschriftung und/oder das Aussehen und/oder das Gewicht und/oder die Geometrie und/oder dergleichen, sein. Bspw. ist das Objekt lediglich das verbrauchbare Lebensmittel oder umfasst sowohl das verbrauchbare Lebensmittel als auch die Verpackung des Lebensmittels.
-
Ein weiterer Vorteil im Rahmen der Erfindung ist erzielbar, wenn das Objekt ein Lebensmittel ist, und die Vorratsliste von einem Haushaltsgerät, insbesondere einer Küchenmaschine, verarbeitet, insbesondere generiert, wird, und in Abhängigkeit von der Vorratsliste ein Rezept von dem Haushaltsgerät ausgewählt und/oder einem Benutzer des Haushaltsgeräts vorgeschlagen und/oder durchgeführt wird, wobei vorzugsweise das Rezept zumindest teilweise wenigstens eines der in der Vorratsliste enthaltenen Objekte umfasst. Die Verarbeitung erfolgt dabei bspw. durch die Recheneinheit, welche hierzu im Haushaltsgerät integriert sein kann. Zur weiteren Erhöhung des Komforts kann es insbesondere vorgesehen sein, dass die Vorratsliste, insbesondere als eine Einkaufsliste, und/oder das Rezept auf einer Anzeigevorrichtung für den Benutzer angezeigt wird. Bevorzugt umfasst dabei das Haushaltsgerät und/oder ein davon separates Gerät die Anzeigevorrichtung. Das separate Gerät kann bspw. ein mobiles Kommunikationsgerät, insbesondere ein Smartphone oder dergleichen, sein. So ist es bspw. auch denkbar, dass ein Benutzer unterwegs (z. B. beim Einkaufen) sich die Vorratsliste und/oder das Rezept als Rezeptvorschlag auf der Anzeigevorrichtung anzeigen lässt. Hierzu kann bspw. eine Übertragung der Vorratsliste und/oder des Rezepts über ein Netzwerk, insbesondere ein Internet, vorgesehen sein.
-
Außerdem kann es im Rahmen der Erfindung von Vorteil sein, dass das erfasste Objektmerkmal über eine Funkverbindung, insbesondere eine WLAN-(Wireless Local Area Network) oder Mobilfunk- oder Bluetooth-Verbindung, an die Recheneinheit übertragen wird. Alternativ oder zusätzlich kann auch eine drahtgebundene elektrische und/oder eine NFC-(Near Field Communication-)Verbindung zur Übertragung zum Einsatz kommen. Insbesondere kann es hierzu vorgesehen sein, dass unterschiedliche Haushaltsgeräte und/oder Aufbewahrungselemente jeweils gleiche oder unterschiedliche Kommunikationsschnittstellen aufweisen, um miteinander und/oder mit der Recheneinheit zu kommunizieren. Dies ermöglicht einen zuverlässigen Informationsaustausch und/oder eine zuverlässige Kombination verschiedener Objektmerkmale zur Objekterfassung, insbesondere zur Bestimmung der Objektinformation.
-
Des Weiteren ist es im Rahmen der Erfindung optional möglich, dass bei der Analyse (gemäß Schritt c)) zumindest eine der nachfolgenden Analysemethoden durchgeführt wird, vorzugsweise nacheinander oder in beliebiger Reihenfolge, wobei bspw. einzelne Analysemethoden auch wiederholt durchgeführt werden können:
- – eine Bilderkennung,
- – eine Objektklassifizierung,
- – eine Merkmalsextraktion, insbesondere anhand definierter Charakteristika,
- – eine Merkmalsreduktion,
- – eine Kantendetektion,
- – eine Schrifterkennung,
- – zumindest eine Mustererkennung, welche jeweils insbesondere als eine syntaktische und/oder statistische und/oder strukturelle Mustererkennung ausgeführt ist,
wobei vorzugsweise die wenigstens eine Analysemethode anhand wenigstens einer Bildinformation über das Objektmerkmal durchgeführt wird. Dies hat den Vorteil, dass die Objektinformation zuverlässig bestimmt werden kann.
-
Insbesondere kann es vorgesehen sein, dass bei der Analyse gemäß Schritt c) ein erstes erfasstes Objektmerkmal, insbesondere eine Gewichtsinformation, mit einem zweiten erfassten Objektmerkmal, insbesondere einer Bildinformation, (digital und/oder durch einen Algorithmus miteinander) verknüpft wird, sodass vorzugsweise die Objektinformation, insbesondere die Anzahl und/oder Menge und/oder Art des Objekts anhand der Analyse bestimmt wird. Bevorzugt kann es dabei möglich sein, dass das erste erfasste Objektmerkmal durch zumindest ein erstes Sensorelement der Sensorik und/oder das zweite erfasste Objektmerkmal durch zumindest ein zweites Sensorelement der Sensorik erfasst wird. Somit ist eine zuverlässige Objekterfassung möglich.
-
Vorzugsweise kann vorgesehen sein, dass bei der Analyse (gemäß Schritt c)) ein Wahrscheinlichkeitsergebnis bestimmt wird, welches für eine Erkennungsgenauigkeit der bestimmten Objektinformation spezifisch ist, wobei das Wahrscheinlichkeitsergebnis mit einem Schwellenwert verglichen wird, und bei einem Unterschreiten des Schwellenwertes eine Benutzerbestätigung eines Benutzers abgefragt wird, wobei das Ergebnis der Benutzerbestätigung für die Verwendung bei weiteren Analysen gespeichert wird. Hierdurch ist es insbesondere möglich, eine Feedback-Schleife bereitzustellen. Mit anderen Worten wird anhand des Schwellenwertes ein Grad einer Unsicherheit bei der Objekterfassung definiert, bei welchem die Feedback-Schleife zum Einsatz kommt. So kann es bspw. möglich sein, dass dann, wenn ein Algorithmus zur Objekterfassung ein Ergebnis mit unzureichender Sicherheit liefert (unterhalb des Schwellenwerts), das Objektmerkmal dem Benutzer mitgeteilt wird, damit der Benutzer über die Feedback-Schleife das korrekte Ergebnis mitteilt. Zur Durchführung der Feedback-Schleife kann bspw. das erfasste Objektmerkmal über eine Anzeigevorrichtung für den Benutzer angezeigt werden, bspw. wird hierzu ein Bild bzw. eine Bildinformation, welche durch die Sensorik erfasst wurde, für den Benutzer angezeigt. Insbesondere kann anschließend der Benutzer über eine Eingabevorrichtung eine korrekte Objektinformation eingeben, z. B. die korrekte Art des Lebensmittels. Die mitgeteilt korrekte Objektinformation wird dann gespeichert und/oder ausgewertet, insbesondere durch einen lernenden Algorithmus, sodass insbesondere eine Datenbank hierdurch stetig erweitert wird, sodass bei zukünftigen Objekterfassungen die Zuverlässigkeit sukzessive gesteigert werden kann.
-
Außerdem ist es von Vorteil, wenn anhand der Vorratsliste in Abhängigkeit von einer Anzahl und/oder Menge und/oder Art aktuell verfügbarer Lebensmittel eine Vorratsinformation bestimmt wird, und anhand einer Vorratsanalyse der Vorratsliste über einen bestimmten Zeitraum eine für das Einkaufsverhalten eines Benutzers spezifische Benutzerinformation bestimmt wird, wobei anhand der Benutzerinformation und der Vorratsinformation eine Einkaufsliste mit einzukaufenden Lebensmitteln generiert wird. Alternativ oder zusätzlich kann auch über die Benutzerinformation, d. h. insbesondere ein benutzerspezifisches Verhalten, die zukünftige Objekterfassung verbessert und/oder an den Benutzer angepasst werden. Bspw. ist es denkbar, dass bei einer Unsicherheit bei der Objekterfassung (insbesondere gemäß einem Wahrscheinlichkeitsergebnis) die in der Vergangenheit erfassten Objektinformationen (z. B. bestimmte Lebensmittelarten) stärker gewichtet werden. Hierdurch kann die Erfassung weiter verbessert werden.
-
Insbesondere kann es möglich sein, dass die Vorratsliste, insbesondere eine Einkaufsliste, z. B. auf einer Anzeigevorrichtung angezeigt wird. Alternativ oder zusätzlich kann die Vorratsliste, insbesondere als eine Liste von vorhandenen Liste in einer Küche, automatisch generiert werden, insbesondere ohne das Zutun des Benutzers.
-
Bevorzugt kann im Rahmen der Erfindung vorgesehen sein, dass durch die Detektion eines ersten Objektereignisses (gemäß Schritt a)) eine Serienaufnahme von Bildinformationen ausgelöst wird, wobei insbesondere Einzelbilder in regelmäßigen Abständen aufgenommen werden, wobei insbesondere bei der Detektion eines zweiten Objektereignisses (gemäß Schritt a)) die Serienaufnahme gestoppt wird, wobei insbesondere nur wenigstens ein Einzelbild, welches für das zweite Objektereignis spezifisch ist, als Objektmerkmal (gemäß Schritt b)) erfasst wird, wobei bevorzugt das erste Objektereignis für das Öffnen einer Schranktür (eines Aufbewahrungselements) und das zweite Objektereignis für das Schließen einer (der) Schranktür (des Aufbewahrungselements) spezifisch ist. Hierdurch ist insbesondere eine Energieeinsparung möglich, da davon ausgegangen wird, dass nur beim Objektereignis bzw. zwischen dem ersten und dem zweiten Objektereignis eine Veränderung der Objekte erfolgt. Insbesondere kann dabei das Objektereignis bzw. das Öffnen und Schließen anhand einer Helligkeitsveränderung im Aufbewahrungsbereich erkannt werden, z. B. mittels eines Lichtsensors.
-
Ebenfalls Gegenstand der Erfindung ist ein System zur Objekterfassung von wenigstens einem Objekt, insbesondere Lebensmittel, an wenigstens einem Aufbewahrungsbereich. Hierbei ist insbesondere vorgesehen, dass wenigstens ein Lebensmittel (als das Objekt), bevorzugt zur Vorratsverwaltung im Haushalt, erfasst wird.
-
Bevorzugt umfasst dabei das erfindungsgemäße System zumindest:
- – eine Sensorik (mit wenigstens einem Sensorelement) zum automatisierten (automatischen) Erfassen von wenigstens einem, insbesondere originären, Objektmerkmal des Objekts (am Aufbewahrungsbereich),
- – eine Recheneinheit, welche mit der Sensorik in Datenverbindung steht, sodass vorzugsweise durch die Recheneinheit anhand des wenigstens einen erfassten Objektmerkmals wenigstens eine Objektinformation des Objekts automatisiert durch eine Analyse bestimmbar ist,
- – eine Datenspeichereinheit zur Speicherung der wenigstens einen bestimmten Objektinformation, sodass eine Vorratsliste generierbar ist.
-
Damit bringt das erfindungsgemäße System die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf das erfindungsgemäße Verfahren erläutert worden sind. Zudem kann das erfindungsgemäße System geeignet sein, gemäß dem erfindungsgemäßen Verfahren betreibbar zu sein.
-
Insbesondere ist es vorgesehen, dass das erfasste Objektmerkmal über die Datenverbindung von der Sensorik an die Recheneinheit (bevorzugt als digitales Signal) übertragen wird, bspw. über Funk oder über eine elektrische Leitung.
-
Vorzugsweise umfasst die Sensorik wenigstens ein Sensorelement, wobei bevorzugt einzelne Sensorelemente verbunden oder unabhängig voneinander ausgeführt sein können. Insbesondere sind die einzelnen Sensorelemente verteilt über den (gesamten) Aufbewahrungsbereich, d. h. bspw. einem oder mehrere Aufbewahrungselemente und/oder Aufbewahrungsmittel, angeordnet. Insbesondere ist es denkbar, dass durch die Sensorelemente das Objekt aus unterschiedlichen Perspektiven erfasst wird. Außerdem ist es denkbar, dass die Sensorelemente derart am Aufbewahrungsbereich angeordnet sind, dass mehrere Aufbewahrungsbereichsabschnitte für jeweils unterschiedliche Objekte überwacht werden können.
-
Bspw. kann ein erstes Aufbewahrungselement, z. B. ein Kühlschrank, des Aufbewahrungsbereichs, und ein zweites, davon insbesondere separat ausgeführtes, Aufbewahrungselement, z. B. ein Regal oder Schrank oder dergleichen, des Aufbewahrungsbereichs vorgesehen sein. Die Sensorik ist dann insbesondere verteilt über den gesamten Aufbewahrungsbereich angeordnet, d. h. es ist bspw. wenigstens ein erstes Sensorelement (z. B. mindestens eine Kameraeinheit und/oder mindestens ein Wiegesensor) am ersten Aufbewahrungselement und wenigstens ein zweites Sensorelement (z. B. mindestens eine weitere Kameraeinheit und/oder mindestens ein weiterer Wiegesensor) am zweiten Aufbewahrungselement angeordnet. Es können dabei bspw. verschiedene (voneinander beabstandete) Aufbewahrungsbereichsabschnitte im Aufbewahrungsbereich vorgesehen sein. Je feinmaschiger dabei diese Anordnung verschiedener Sensorelemente an den Aufbewahrungsbereichsabschnitten erfolgt (z. B. mit mindestens 3 oder 4 oder 5 Sensorelementen pro Aufbewahrungsbereichsabschnitt), desto zuverlässiger kann die Objekterfassung durchgeführt werden. Insbesondere können dabei die Sensorelemente gleichartig (z. B. als Kameraeinheit) oder verschiedenartig (z. B. sowohl als Kameraeinheit als auch als Wiegesensor) insbesondere in Bezug auf die Erfassungstechnologie sein.
-
Es kann insbesondere vorgesehen sein, dass das Objektmerkmal mit wenigstens einer Objektinformation des Objekts korreliert und/oder die Erfassung der Sensorik automatisiert am Aufbewahrungsbereich, insbesondere an wenigstens einem Aufbewahrungselement, erfolgt.
-
Automatisiert bezieht sich im Rahmen der Erfindung insbesondere darauf, dass das Objekt nicht erst manuell z. B. vor ein Lesegerät – zusätzlich zur Ablage am Aufbewahrungsbereich – gehalten werden muss und/oder aufbereitet werden muss, um erfasst zu werden (z. B. müssen keine zusätzlichen maschinenlesbaren Merkmale nachträglich angebracht werden, um die Objekterfassung durchzuführen).
-
Vorzugsweise werden dabei als das Objektmerkmal ausschließlich originäre Merkmale des Objekts erfasst, d. h. insbesondere Merkmale, welche nicht nachträglich am Objekt hinzugefügt wurden und/oder durch eine besondere Aufbereitung des Objekts entstanden sind. Bspw. ist das originäre Merkmal kein nachträglich (für die Objekterfassung gemäß dem erfindungsgemäßen System) hinzugefügtes maschinenlesbares Merkmal, wie ein Strichcode zur Objekterfassung oder dergleichen. Allerdings kann das originäre Merkmal bspw. eine Beschriftung der Verpackung, d. h. z. B. auch ein maschinenlesbares Merkmal an der Verpackung, sein, falls dieses auch bereits ursprünglich am Objekt (unabhängig von der erfindungsgemäßen Objekterfassung) vorhanden war. Insbesondere umfasst damit das originäre Merkmal auch ein maschinenlesbares Merkmal, wie einen Strichcode und/oder einen QR-Code und/oder einen RFID-Tag, sofern dieses auch Teil der ursprünglichen Verpackung des Objekts und/oder des ursprünglichen Objekts ist, wie es bspw. im Supermarkt angeboten wird. Darüber hinaus ist das originäre Merkmal bspw. ein Gewicht und/oder eine Geometrie und/oder eine visuelle Eigenschaft des Objekts, welche z. B. anhand einer visuellen Aufzeichnung und/oder einer Gewichtserfassung ermittelt werden kann.
-
Des Weiteren kann vorgesehen sein, dass die Sensorik eine Erfassungsvorrichtung mit mehreren Kameraeinheiten und eine Gewichtserfassungsvorrichtung mit mehreren Wiegesensoren umfasst, wobei die Kameraeinheiten und/oder die Wiegesensoren verteilt am Aufbewahrungsbereich anordbar sind, sodass die Sensorik als eine lokalauflösende Sensorik dazu ausgeführt ist, lokal aufgelöste Objektmerkmale zu erfassen. Bspw. kann der Wiegesensor dabei an jeder Fläche angeordnet werden, welche Lebensmittel aufnehmen kann (d. h. im Aufbewahrungsbereich). So sind bspw. an einem Aufbewahrungselement des Aufbewahrungsbereichs, z. B. einem Kühlschrank, in den Türen zumindest ein oder mehrere Türeinsätze als Aufbewahrungsmittel angebracht. Insbesondere können in diesen Türeinsätzen ein oder mehrere Wiegesensoren angebracht werden, z. B. in einer Zeilen- und/oder Matrixstruktur, und so vorzugsweise lokale Informationen über das Gewicht des Objekts liefern. Alternativ oder zusätzlich können in (den annähernd quadratischen) Ebenen des Kühlschranks die Wiegesensoren z. B. in einer Matrixstruktur angebracht und/oder angeordnet sein, um so lokal auflösende Informationen über das Gewicht der (darüber liegenden) Lebensmittel zu liefern. Durch diese verteilte Anordnung der Sensorelemente der Sensorik ist eine zuverlässige Erfassung von Objekten möglich, auch, wenn diese an unterschiedlichen Orten aufbewahrt werden. Auf eine ungewohnte manuelle Vorbeiführung an einem Lebensmittel bzw. an einem bestimmten Ort kann damit verzichtet werden.
-
Auch ist es optional denkbar, dass die Sensorik wenigstens ein erstes Sensorelement, insbesondere eine Kameraeinheit, und wenigstens ein zweites Sensorelement, insbesondere einen Wiegesensor, umfasst, welche sich in Bezug auf die Erfassungsart (Erfassungstechnologie) unterscheiden, sodass unterschiedliche Objektmerkmale, insbesondere eine visuelle Information und eine Gewichtsinformation über das Objekt, erfassbar sind. Selbstverständlich können das erste und/oder das zweite und/oder weitere Sensorelemente auch für eine Erfassung von weiteren Objektmerkmalen ausgeführt sein, z. B. für chemische oder haptische Objektmerkmale. Hierdurch wird die Objekterfassung weiter verbessert.
-
Ein weiterer Vorteil kann im Rahmen der Erfindung erzielt werden, wenn die Sensorik wenigstens zwei Sensorelemente umfasst, welche jeweils zumindest eine Kommunikationsschnittstelle zur Kommunikation untereinander und/oder mit der Recheneinheit aufweisen, wobei insbesondere die Kommunikationsschnittstelle als Funk- und/oder NFC- und/oder Mobilfunk- und/oder Bluetooth- und/oder WLAN-Schnittstelle ausgeführt ist. Dies ermöglicht einen zuverlässigen Informationsaustausch zur Bestimmung der Objektinformation.
-
Es ist ferner denkbar, dass zumindest ein Sensorelement der Sensorik derart, insbesondere portabel und/oder anpassbar, ausgeführt ist, sodass die Sensorik in wenigstens einem Aufbewahrungselement, insbesondere einem Schrank, des Aufbewahrungsbereichs integrierbar ist, und insbesondere an einem Aufbewahrungsmittel des Aufbewahrungselements, vorzugsweise einer Schranktür, befestigbar ist. Hierzu können entsprechende Befestigungsmittel, wie bspw. Clipse, am Aufbewahrungsmittel und/oder am Sensorelement vorgesehen sein. Damit wird die Zuverlässigkeit bei der Objekterfassung weiter erhöht.
-
Vorzugsweise kann vorgesehen sein, dass die Recheneinheit in einer Küchenmaschine zur zumindest teilweise automatischen Zubereitung von Lebensmitteln und Gerichten integriert ist. Dabei umfasst die Küchenmaschine bspw. auch eine Anzeigevorrichtung zur Anzeige von Rezepten und/oder der Vorratsliste. Die Küchenmaschine umfasst dabei bspw. ein Rührwerk und/oder eine Waage und/oder eine Heizung. Dies hat den Vorteil, dass die Küchenmaschine als weitere Funktion die Objekterfassung bspw. zentral organisieren kann.
-
Optional ist es denkbar, dass zumindest ein Sensorelement der Sensorik, insbesondere ein Wiegesensor, in einer Zeilen- oder Matrixstruktur am Aufbewahrungsbereich angeordnet ist, insbesondere großflächig an einem Gemüsefach und/oder einer Schublade und/oder einer Tür eines Aufbewahrungselements, vorzugsweise eines Kühlschranks, sodass eine lokalauflösende Erfassung des Objektmerkmals, vorzugsweise gleichzeitig für unterschiedliche Objekte, durchführbar ist. Insbesondere sind hierzu vorzugsweise mehrere, bspw. mindestens 2 oder mindestens 4 oder mindestens 6 oder mindestens 8 oder mindestens 10 oder mindestens 20 (erste) Sensorelemente, insbesondere Wiegesensoren, vorgesehen. Insbesondere sind außerdem bevorzugt mehrere, vorteilhafterweise mindestens 2 oder mindestens 4 oder mindestens 6 oder mindestens 8 oder mindestens 10 oder mindestens 20 zweite Sensorelemente, insbesondere Kameraeinheiten, vorgesehen. Dies ermöglicht eine zuverlässige Erfassung von Objekten an unterschiedlichen Orten im Aufbewahrungsbereich, z. B. verteilt über eine gesamte Küche.
-
Bevorzugt kann im Rahmen der Erfindung vorgesehen sein, dass die Recheneinheit in einer serverbasierten Cloudarchitektur integriert ist, sodass eine cloudbasierte Auswertung von dem wenigstens einen Objektmerkmal, insbesondere wenigstens einer Bildinformation, durchführbar ist. Alternativ oder zusätzlich kann bspw. auch die Recheneinheit in einem mobilen Kommunikationsgerät, z. B. in einem Smartphone, angeordnet sein.
-
In einer weiteren Möglichkeit kann vorgesehen sein, dass wenigstens ein Sensorelement der Sensorik mindestens einen Lichtsensor, insbesondere wenigstens eine Photodiode, umfasst, sodass ein Objektereignis, insbesondere ein Öffnen einer Schranktür eines Aufbewahrungselements des Aufbewahrungsbereichs, detektierbar ist. Hierdurch ist eine deutliche Energieersparnis möglich, da die Objekterfassung insbesondere nur dann durch den Lichtsensor getriggert wird, wenn von einer Veränderung der Objekte auszugehen ist.
-
Ferner ist es denkbar, dass wenigstens ein Sensorelement, insbesondere eine Kameraeinheit und/oder ein Wiegesensor, ein Halterungsmittel zur Befestigung an einem Aufbewahrungselement des Aufbewahrungsbereichs umfasst, sodass bspw. eine hängende und/oder stehende und/oder liegende Anordnung im Aufbewahrungsbereich möglich ist. Hierdurch ist eine vielseitige Integration der Sensorik in den Aufbewahrungsbereich, z. B. einer Küche, möglich.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen:
-
1 eine schematische Ansicht von Teilen eines erfindungsgemäßen Systems,
-
2 eine weitere schematische Ansicht von Teilen eines erfindungsgemäßen Systems,
-
3 eine schematische Ansicht von Teilen einer Sensorik eines erfindungsgemäßen Systems,
-
4 eine schematische Darstellung einer Kameraeinheit eines erfindungsgemäßen Systems, und
-
5 eine schematische Darstellung zur Visualisierung eines erfindungsgemäßen Verfahrens.
-
In den nachfolgenden Figuren werden für die gleichen technischen Merkmale auch von unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
-
In 1 ist schematisch ein erfindungsgemäßes System 1 gezeigt. Beispielhaft ist dabei gezeigt, dass wenigstens ein Aufbewahrungsbereich 20 in einer Küche 3 vorgesehen sein kann. In der Küche 3 ist z. B. auch ein Haushaltsgerät 2, insbesondere eine Küchenmaschine 2, sowie wenigstens ein Aufbewahrungselement 10 vorgesehen. Das Aufbewahrungselement 10, z. B. ein Schrank und/oder Regal und/oder Kühlschrank, ist in 2 näher dargestellt.
-
Dabei können im Aufbewahrungsbereich 20 zumindest ein Objekt 5, insbesondere zumindest ein Lebensmittel 5, aufbewahrt werden. Die Objekte 5 können dabei verschieden in Bezug auf die Objektart und/oder die Objektanzahl und/oder die Objektmenge und/oder dergleichen ausgeführt sein. Bspw. kann es sich bei einem ersten Objekt 5 um eine Packung Milch und bei einem zweiten Objekt 5 um eine Packung Reis handeln. Es können sich dabei die Objektinformationen 5.2 der einzelnen Objekte 5 voneinander unterscheiden (z. B. die Objektart und/oder die Objektmenge, wie eine Füllmenge oder Restmenge, und/oder die Objektanzahl, z. B. die Anzahl der Reispackungen oder dergleichen). Auch ist es denkbar, dass weitere Objektinformationen 5.2 bestimmt werden, z. B. ein Ablaufdatum, welches bspw. anhand einer Verpackungsbeschriftung als Objektmerkmal 5.1 bestimmt wird.
-
Damit das Hinzufügen und/oder Entfernen von Objekten 5 im Aufbewahrungsbereich 20 erfasst werden kann, sind (verteilt, insbesondere flächendeckend) im Aufbewahrungsbereich 20 gleichartige oder verschiedene Sensorelemente 201 einer Sensorik 200 angeordnet. Bspw. ist in 1 eine matrixartige Verteilung der Sensorik 200 gezeigt.
-
In 2 ist zu sehen, dass die Sensorik 200 wenigstens ein Sensorelement 201 umfassen kann, insbesondere ein erstes Sensorelement 201a und ein zweites Sensorelement 201b. Die ersten Sensorelemente 201a können bspw. als Wiegesensoren 225 ausgeführt und/oder in einem Aufbewahrungsmittel 11, z. B. einem Regelboden, integriert sein. Die zweiten Sensorelemente 201b können bspw. als Kameraeinheit 211 ausgeführt sein und insbesondere, z. B. hängend, im Aufbewahrungselement 10, z. B. einem Schrank, befestigt sein. Darüber hinaus kann es möglich sein, dass eine Recheneinheit 100 und/oder eine Datenspeichereinheit 110 und/oder eine Anzeigevorrichtung 300 vorgesehen ist. Ein Benutzer 4 kann zudem bspw. ein mobiles Kommunikationsgerät, insbesondere eine Kommunikationsvorrichtung 16, insbesondere ein Smartphone 16, mit sich führen. Die Anzeigevorrichtung 300 und/oder die Recheneinheit 100 und/oder die Datenspeichereinheit 110 kann dabei bspw. separat ausgeführt und/oder in dem Haushaltsgerät 2 integriert und/oder in der mobilen Kommunikationsvorrichtung 16 integriert sein. Daneben sind auch weitere Integrationsmöglichkeiten denkbar, z. B. in einem nicht gezeigten Server (z. B. cloudbasiert) und/oder dergleichen.
-
Gemäß 3 ist zu sehen, dass die Sensorik 200 eine erste Erfassungsvorrichtung 210, insbesondere ein Kamerasystem 210, und/oder eine Gewichtserfassungsvorrichtung 220, insbesondere eine Wiegesensoranordnung 220, aufweisen kann. Sowohl die Erfassungsvorrichtung 210 als auch die Gewichtserfassungsvorrichtung 220 können optional ein erstes und/oder zweites Sensorelement 201a, 201b aufweisen. Das erste Sensorelement 201a ist dabei insbesondere der Gewichtserfassungsvorrichtung 220 zugeordnet und/oder als Wiegesensor 225 ausgeführt. Das zweite Sensorelement 201b ist insbesondere der Erfassungsvorrichtung 210 zugeordnet und/oder als Kameraeinheit 211, insbesondere portable Kamera 211, ausgeführt. Sämtliche Sensorelemente 201 können dabei bspw. unabhängig voneinander und/oder benachbart und/oder als separate Bauteile ausgeführt sein.
-
In 4 ist schematisch der Aufbau einer Kameraeinheit 211, insbesondere eines zweiten Sensorelements 201b, gezeigt. Die Kameraeinheit 211 umfasst dabei bspw. eine Kommunikationsschnittstelle 211.1 zur drahtlosen Kommunikation. Darüber hinaus kann auch ein Lichtsensor 211.2, insbesondere eine Photodiode 211.2, und/oder ein Halterungsmittel 211.3 zur Befestigung an einem Aufbewahrungselement 10 vorgesehen sein.
-
In 5 ist schematisch ein erfindungsgemäßes Verfahren 500 visualisiert. Dabei ist gezeigt, dass anhand eines erfassten Objektmerkmals 5.1 eines Objektes 5 insbesondere durch eine Analyse eine Objektinformation 5.2 bestimmt werden kann.
-
Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 1
- System
- 2
- Küchenmaschine, Haushaltsgerät
- 3
- Küche
- 4
- Benutzer
- 5
- Lebensmittel, Objekt
- 5.1
- Objektmerkmal
- 5.2
- Objektinformation
- 10
- Aufbewahrungselement
- 11
- Aufbewahrungsmittel
- 16
- mobile Kommunikationsvorrichtung
- 20
- Aufbewahrungsbereich
- 100
- Recheneinheit
- 110
- Datenspeichereinheit
- 200
- Sensorik
- 201
- Sensorelement
- 201a
- erstes Sensorelement
- 201b
- zweites Sensorelement
- 210
- Erfassungsvorrichtung, Kamerasystem
- 211
- Kameraeinheit, portable Kamera
- 211.1
- Kommunikationsschnittstelle
- 211.2
- Lichtsensor
- 211.3
- Halterungsmittel
- 220
- Gewichtserfassungsvorrichtung, Wiegesensoranordnung
- 225
- Wiegesensor
- 300
- Anzeigevorrichtung
- 500
- Verfahren
