-
Die Erfindung betrifft ein Verfahren zum Identifizieren von Objekten in einem Kühlraum eines Kältegeräts, bei dem ein aktuelles Bild des Kühlraums aufgenommen wird und das aktuelle Bild einer Bilderkennung zum Erkennen und Identifizieren von Objekten unterzogen wird. Die Erfindung betrifft auch ein Kältegerät, aufweisend eine in einen Kühlraum des Kältegeräts gerichtete Bildaufnahmeeinrichtung zum Aufnehmen von Bildern des Kühlraums, wobei das Kältegerät mit einem Datenspeicher zum Speichern von durch die Bildaufnahmeeinrichtung gespeicherten Bildern und mit einer Bilderkennungseinrichtung gekoppelt ist und das Kältegerät dazu eingerichtet ist, das Verfahren ablaufen zu lassen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Kühlschränke, Kühlgefrierkombinationen usw.
-
DE 10 2013 211 095 A1 offenbart ein Kältegerät mit einer Tür, bei dem die Tür ein erstes und ein zweites Kameramodul für die stereoskopische Bildaufnahme umfasst. Hierbei ist nachteilig, dass ein hoher apparativer Aufwand für eine Objekterkennung benötigt wird.
-
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine konstruktiv einfache Möglichkeit zur besonders zuverlässigen Objekterkennung in Kältegeräten bereitzustellen.
-
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
-
Die Aufgabe wird gelöst durch ein Verfahren zum Identifizieren von Objekten in einem Kühlraum eines Kältegeräts, bei dem (a) ein Bild („aktuelles“ Bild) des Kühlraums aufgenommen wird, (b) das aktuelle Bild einer Bilderkennung zum Erkennen und Identifizieren von Objekten unterzogen wird und (c) in dem aktuellen Bild erkannte, aber nicht identifizierte Objekte mit Objekten aus mindestens einem zuvor aufgenommenen Bild abgeglichen werden.
-
Dieses Verfahren ergibt den Vorteil, dass für eine besonders zuverlässige Objekterkennung nur eine Bildaufnahmeeinrichtung, insbesondere nur eine Kamera oder nur ein Kameramodul, benötigt wird.
-
Unter einem Kältegerät wird insbesondere ein Haushaltskältegerät verstanden, also ein Kältegerät, das zur Haushaltsführung in Haushalten und/oder im Gastronomiebereich eingesetzt wird, und insbesondere dazu dient, Lebensmittel und/oder Getränke bei bestimmten Temperaturen zu lagern, wie beispielsweise ein Kühlschrank, ein Gefrierschrank, eine Kühlgefrierkombination, eine Gefriertruhe oder ein Weinkühlschrank.
-
Dass in Schritt (b) das aktuelle Bild einer Bilderkennung zum Erkennen und Identifizieren von Objekten unterzogen wird, umfasst, dass in dem aktuellen Bild Objekte als solches erkannt werden. Diese Objekte sind insbesondere als von einem Hintergrund (z.B. einer Kühlraumwand) unterschiedlich erkannt worden, z.B. aufgrund ihrer Form und/oder Farbe.
-
In Schritt (b) wird zudem versucht, die Objekte zu identifizieren, beispielsweise als Jogurtbecher, Butter, Milchtüten usw. Dabei kann der Grad bzw. die Tiefe der Identifizierung variieren, beispielsweise generisch als Milchtüte, als eine bestimmte Milchsorte (z.B. als Vollmilch, Halbfettmilch, Magermilch usw.) oder als bestimmte Marke. Es ist eine Weiterbildung, dass das Identifizieren von Objekten eine Texterkennung umfasst, um den Grad der Identifizierung zu verbessern.
-
Das Identifizieren der Objekte in Schritt (b) kann ein Vergleichen der erkannten Objekte mit in einer Datenbank gespeicherten Objekten umfassen.
-
Schritt (b) umfasst insbesondere, dass mittels einer Bilderkennung versucht wird, überhaupt mindestens ein Objekt in dem Kühlraum zu erkennen (z.B. gegen einen bekannten Hintergrund) und dann versucht wird, davon mindestens ein Objekt zu identifizieren. Dabei kann es vorkommen, dass nur anhand des aktuellen Bilds erkannte Objekte nicht identifiziert werden können. Dies kann z.B. der Fall sein, wenn ein Objekt so stark verdeckt ist, dass kein positiver (Objekt-)Vergleich oder „Matching“ mit in einer Datenbank gespeicherten Daten möglich ist.
-
Schritt (c) umfasst insbesondere ein Vergleichen des aktuellen Bilds mit mindestens einem zuvor aufgenommenen Bild, um in dem aktuellen Bild nicht identifizierbare oder identifizierte Objekte anhand von zusätzlicher Information aus dem mindestens einen zuvor aufgenommenen Bild identifizieren zu können.
-
Allgemein können unter „Objekten“ ein oder mehrere Objekte verstanden werden.
-
Das aktuelle Bild kann insbesondere ein zuletzt aufgenommenes Bild sein.
-
Die in dem Kühlraum identifizierten Objekte können einem Nutzer zur Verfügung gestellt werden, z.B. in Form einer Inventarliste, im Zusammenhang mit einer Einkaufsliste usw.
-
Es ist eine Ausgestaltung, dass zum Abgleichen in Schritt (c) in dem aktuellen Bild erkannte, aber nicht identifizierte Objekte einem Objektvergleich mit identifizierten Objekten aus dem mindestens einen zuvor aufgenommenen Bild unterzogen werden und bei einem positiven Objektvergleich die Identifikation des Objekts aus dem zuvor aufgenommenen Bild für das damit positiv verglichene Objekt des aktuellen Bilds übernommen wird. Dies kann eine Identifizierungsgenauigkeit merklich erhöhen. Beispielsweise kann in Schritt (b) ein Objekt erkannt werden, das einem Becherdeckel entspricht. Es ist nicht möglich, dieses Objekt zuverlässig einem Datenbankobjekt zuzuordnen, z.B. weil es keine ausreichende Übereinstimmung gibt oder weil zu viele in der Datenbank gespeicherte Objekte einen solchen Deckel aufweisen könnten. In einem zuvor aufgenommenen Bild kann ein Objekt (z.B. ein Jogurtbecher einer bestimmten Marke) identifiziert worden sein, das zu dem aktuell erkannten Objekt (Becherdeckel) passt. Es besteht somit eine hohe Wahrscheinlichkeit, dass das in dem aktuellen Bild erkannte Objekt zu dem zuvor erkannten und identifizierten Jogurtbecher gehört. Folglich kann für das in dem aktuellen Bild erkannte Objekt die Identifizierung als Jogurtbecher nach Art des zuvor erkannten Bilds übernommen werden.
-
Es ist eine weitere Ausgestaltung, dass in Schritt (c) in dem aktuellen Bild erkannte, aber nicht identifizierte Objekte mit Objekten aus mehreren zuvor aufgenommenen Bildern abgeglichen werden. Dies erhöht eine Identifizierungswahrscheinlichkeit weiter.
-
Es ist noch eine weitere Ausgestaltung, dass in Schritt (c) in dem aktuellen Bild erkannte, aber nicht identifizierte Objekte mit Objekten aus bis zu fünf zuvor aufgenommenen Bildern abgeglichen werden.
-
Es ist auch eine Ausgestaltung, dass dann, wenn sich ein in mehreren zuvor aufgenommenen Bildern identifiziertes Objekt in einem zumindest ungefähr gleichen Bildbereich (insbesondere teilweise verdeckt hinter mindestens einem anderen Objekt) befindet und dieser Bildbereich in dem aktuellen Bild vollständig mit anderen Objekten belegt ist, das zuvor identifizierte Objekt als ein aktuell vorhandenes Objekt erkannt oder aufgeführt wird. Insbesondere kann so eine Wahrscheinlichkeit einer Objekterkennung und Identifizierung für Objekte durchgeführt werden, die auf dem aktuellen Bild nicht oder für eine Erkennung nicht ausreichend sichtbar sind. Dieser Ausgestaltung liegt die Erkenntnis zugrunde, dass dann, wenn ein identifiziertes Objekt in mehreren zuvor aufgenommenen Bildern sichtbar war - insbesondere hinter anderen Objekten und sich daher in einem hinteren Bereich des Kühlraums befindet - und in dem aktuellen Bild die Sichtlinie zu diesem identifizierten Objekt durch (ggf. noch weitere) andere Objekte vollständig verdeckt ist, die Wahrscheinlichkeit hoch ist, dass das identifizierte Objekt sich auch noch hinter diesen anderen Objekten des aktuellen Bilds befindet.
-
Es ist außerdem eine Ausgestaltung, dass Bilder des Kühlraums beim Schließen einer Kühlraumtür aufgenommen werden. Dies ergibt den Vorteil, dass die Kamera bei Bildaufnahme in guter Näherung frontal in den Kühlraum gerichtet sein kann und zudem eine Änderung der Objektpositionen und Objektlagen in dem Kühlraum nach Bildaufnahme unwahrscheinlich ist.
-
Die Aufgabe wird auch gelöst durch ein Kältegerät, aufweisend eine in einen Kühlraum des Kältegeräts gerichtete Bildaufnahmeeinrichtung zum Aufnehmen von Bildern des Kühlraums, wobei das Kältegerät mit einem Datenspeicher zum Speichern von durch die Bildaufnahmeeinrichtung gespeicherten Bildern und mit einer Bilderkennungseinrichtung gekoppelt ist, wobei das Kältegerät dazu eingerichtet ist, das Verfahren wie oben beschrieben ablaufen zu lassen. Das Kältegerät kann analog zu den Verfahren ausgebildet werden und weist die gleichen Vorteile auf.
-
Die Bildaufnahmeeinrichtung kann eine Kamera oder Kameramodul umfassen.
-
Die Bilderkennungseinrichtung kann auch als Bildauswertungseinrichtung bezeichnet werden.
-
Es ist eine Ausgestaltung, dass sich die Bildaufnahmeeinrichtung (z.B. umfassen mindestens ein Kameramodul) in einer Kühlraumtür befindet. Dies ergibt den Vorteil, dass der Kühlraum besonders vollständig erfassbar ist.
-
Grundsätzlich kann das Kältegerät genau eine Bilderkennungseinrichtung aufweisen. Alternativ kann das Kältegerät mehrere Bilderkennungseinrichtungen aufweisen, z.B. für unterschiedliche Lagerebenen.
-
Es ist eine Ausgestaltung, dass das Kältegerät dazu eingerichtet ist, das Verfahren eigenständig durchzuführen. Dies ergibt den Vorteil, dass die Durchführung des Verfahrens auch ohne eine Datenverbindung mit externen Instanzen durchführbar ist. Dazu kann das Kältegerät den Datenspeicher zum Speichern der Bilddaten aufweisen und die Bilderkennungseinrichtung aufweisen. Unter „gekoppelt“ kann folglich „integral aufweisend“ verstanden werden. Die Bilderkennungseinrichtung kann dabei eine eigenständige Einheit des Kältegeräts sein oder funktional in eine Steuereinrichtung des Kältegeräts integriert sein, z.B. durch eine entsprechende Programmierung. Folglich kann in dem Kältegerät ein Computerprogrammprodukt vorhanden sein, das direkt in einen internen Speicher des Kältegeräts gespeichert ist und Codeabschnitte umfasst, mit denen das Verfahren ausgeführt wird, wenn das Computerprogrammprodukt auf dem Kältegerät läuft.
-
Es ist eine weitere Ausgestaltung, dass der Datenspeicher und/oder die Bilderkennungseinrichtung bezüglich des Kältegeräts externe Instanzen sind, die über eine Datenverbindung (z.B. das Internet) mit dem Kältegerät verbunden sind. Dies ergibt den Vorteil, dass das Kältegerät besonders einfach und preiswert ausgestaltbar ist. Unter „gekoppelt“ kann folglich „über eine Datenverbindung gekoppelt“ verstanden werden. Beispielsweise können der Datenspeicher und/oder die Bilderkennungseinrichtung durch den Hersteller des Kältegeräts bereitgestellt werden, z.B. auf einem Server. Alternativ oder zusätzlich können der Datenspeicher und/oder die Bilderkennungseinrichtung in der sog. „Cloud“ vorhanden sein. In diesem Fall kann in dem Kältegerät in einer Variante ein Computerprogrammprodukt vorhanden sein, das Codeabschnitte umfasst, mit denen ein Teil des Verfahrens ausgeführt wird, wenn das Computerprogrammprodukt auf dem Kältegerät läuft.
-
Die Erfindung wird somit auch gelöst durch ein entsprechendes Computerprogrammprodukt.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
- 1 zeigt als Schnittdarstellung in Seitenansicht ein erfindungsgemäßes Kältegerät; und
- 2 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
1 zeigt als Schnittdarstellung in Seitenansicht ein erfindungsgemäßes Kältegerät in Form eines Kühlschranks 1. Der Kühlschrank 1 weist einen Korpus 2 mit einem Kühlraum 3 auf, der mittels einer Kühlschranktür 4 verschließbar ist. In der Kühlschranktür 4 ist eine in den Kühlraum 3 gerichtete Bildaufnahmeeinrichtung in Form eines Kameramoduls 5 vorhanden. Das Kameramodul 5 ist so angeordnet, dass es z.B. farbige Bilder des Kühlraums 3 aufnehmen kann. Das Kameramodul 5 ist mit einer zentralen Steuereinrichtung 6 des Kühlschranks 1 verbunden und kann Bilddaten auf die Steuereinrichtung 6 übertragen. Die Steuereinrichtung 6 weist einen Speicher 7 zum Speichern der empfangenen Bilder oder Bilddaten auf. Insbesondere können in dem Speicher 7 mehrere zeitlich hintereinander aufgenommene Bilder gespeichert werden. Ein Bild kann von dem Kameramodul 5 beispielsweise immer dann aufgenommen werden, wenn die Kühlschranktür 4 geschlossen wird. Die Steuereinrichtung 6 ist ferner dazu eingerichtet (z.B. programmiert), als Bilderkennungseinrichtung zu funktionieren.
-
In dem Kühlraum 3 können mehrere Objekte O1, O2 im Blickfeld des Kameramoduls 5 gelagert sein. Davon kann wie gezeigt ein Objekt O1 ein anderes Objekt O2 teilweise überdecken.
-
Die Steuereinrichtung 6 kann mit einer drahtlosen und/oder drahtgebundenen Datenschnittstelle 8 verbunden sein, um Daten mit externen Instanzen, z.B. einem Server des Herstellers, über ein Datennetzwerk, z.B. das Internet, auszutauschen.
-
2 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens wie es z.B. auf der Steuereinrichtung 6 des Kühlschranks 1 ausgeführt werden kann.
-
In einem ersten Schritt S1 wird z.B. bei einem Schließen der Kühlschranktür 4 ein Bild des Kühlraums 3 einschließlich der sich darin befindlichen Objekte O1, O2 von dem Kameramodul 5 aufgenommen und in dem Speicher 7 gespeichert. Dieses Bild wird als „aktuelles“ Bild bezeichnet. In dem Speicher 7 sind zusätzlich mehrere, z.B. fünf, zuvor von dem Kameramodul 5 aufgenommene Bilder gespeichert.
-
In einem folgenden Schritt S2 wird das aktuelle Bild mittels der Steuereinrichtung 6 einer Bilderkennung unterzogen, um darin befindliche Objekte O1, O2 als solches zu erkennen.
-
In einem Schritt S3 wird mittels der Steuereinrichtung 6 versucht, erkannte Objekte O1, O2 zu identifizieren. Dies kann durch Vergleich mit einer Objektdatenbank geschehen. Die Objektdatenbank kann in einer Variante in der Steuereinrichtung 6 gespeichert sein. Die Objektdatenbank kann in einer anderen Variante extern gespeichert sein, z.B. auf einem Server des Herstellers oder in der Cloud, wobei die Steuereinrichtung 6 dann über die Datenschnittstelle 8 mit der Objektdatenbank kommunizieren kann. Zu dem gleichen Zweck kann die Steuereinrichtung 6 zur Texterkennung eingerichtet sein, beispielsweise um auf den Objekten O1, O2 befindliche Texte lesen und zur Objektidentifizierung einsetzen zu können.
-
Können in Schritt S3 nicht alle erkannten Objekte O1, O2 identifiziert werden, wird in einem Schritt S4 mindestens ein solches erkanntes, aber nicht identifiziertes Objekt O2 mit mindestens einem der gespeicherten zuvor aufgenommenen Bilder abgeglichen. Dies kann so durchgeführt werden, dass ein in dem aktuellen Bild erkanntes, aber nicht identifiziertes Objekt O2 einem Objektvergleich mit identifizierten Objekten aus mindestens einem zuvor aufgenommenen Bild unterzogen wird. Bei einem positiven Objektvergleich (bei dem also das in dem aktuellen Bild erkannte, aber nicht identifizierte Objekt O2 zu einem identifizierten Objekt aus dem mindestens einen zuvor aufgenommenen Bild passt, auch als „Treffer“ bezeichnet), wird die Identifikation des Objekts aus dem zuvor aufgenommenen Bild für das damit erfolgreich oder positiv verglichene Objekt O2 des aktuellen Bilds übernommen.
-
Ist ein Objektvergleich mit einem zuvor aufgenommenen Bild erfolglos geblieben, kann der Objektvergleich mit einem nächsten zuvor aufgenommenen Bild durchgeführt werden. Insbesondere kann ein Objektvergleich zuerst anhand des unmittelbar vor dem aktuellen Bild aufgenommenen Bilds, dann mit dem davor aufgenommenen Bild usw. durchgeführt werden.
-
Schritt S4 kann so lange durchgeführt werden, bis alle in dem aktuellen Bild erkannten, aber nicht identifizierten Objekte O2 abgeglichen worden sind. Dabei können Objekte verbleiben, die sich auch mit diesem Schritt S3 nicht identifizieren lassen.
-
In einem folgenden Schritt S5 können die durch die Schritte S1 bis S4 identifizierten Objekte einem Nutzer bereitgestellt werden, z.B. in Form einer elektronischen Inventarliste.
-
Optional kann zwischen den Schritten S1 und S5 ein weiterer Schritt S6 durchgeführt werden. Bei diesem Schritt S6 wird zunächst überprüft, ob sich in mehreren zuvor aufgenommenen Bildern in einem zumindest ungefähr gleichen Bildbereich ein gleiches identifiziertes Objekt befindet. Ist dieser Bildbereich in dem aktuellen Bild vollständig mit anderen Objekten belegt oder überdeckt, wird das zuvor identifizierte Objekt als ein aktuell vorhandenes Objekt erkannt oder zumindest einem Nutzer zur Erkennung angeboten. In einer Variante wird das zuvor identifizierte Objekt nur dann als ein aktuell vorhandenes Objekt erkannt, wenn es sich in mindestens einem der zuvor aufgenommenen Bilder teilweise verdeckt hinter mindestens einem anderen Objekt befindet. In noch einer Variante wird das zuvor identifizierte Objekt nur dann als ein aktuell vorhandenes Objekt erkannt, wenn es sich in mehreren, insbesondere allen, zuvor aufgenommenen Bildern teilweise verdeckt hinter mindestens einem anderen Objekt befindet.
-
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
-
Bezugszeichenliste
-
- 1
- Kühlschrank
- 2
- Korpus
- 3
- Kühlraum
- 4
- Kühlschranktür
- 5
- Kameramodul
- 6
- Steuereinrichtung
- 7
- Speicher
- 8
- Datenschnittstelle
- O1
- Objekt
- O2
- Objekt
- S1-S6
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013211095 A1 [0002]
