DE102013211096A1 - Kältegerätesystem - Google Patents

Kältegerätesystem Download PDF

Info

Publication number
DE102013211096A1
DE102013211096A1 DE102013211096.0A DE102013211096A DE102013211096A1 DE 102013211096 A1 DE102013211096 A1 DE 102013211096A1 DE 102013211096 A DE102013211096 A DE 102013211096A DE 102013211096 A1 DE102013211096 A1 DE 102013211096A1
Authority
DE
Germany
Prior art keywords
camera module
refrigeration
camera
image data
refrigeration system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013211096.0A
Other languages
English (en)
Inventor
Gerhard Wetzl
Peter Stimpfig
Wolfgang Schramm
Jens Wichert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Bosch und Siemens Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Bosch und Siemens Hausgeraete GmbH filed Critical BSH Bosch und Siemens Hausgeraete GmbH
Priority to DE102013211096.0A priority Critical patent/DE102013211096A1/de
Priority to EP14727838.6A priority patent/EP3008413A1/de
Priority to US14/898,187 priority patent/US20160138859A1/en
Priority to CN201480033734.8A priority patent/CN105358925A/zh
Priority to PCT/EP2014/061613 priority patent/WO2014198610A1/de
Publication of DE102013211096A1 publication Critical patent/DE102013211096A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/003Arrangement or mounting of control or safety devices for movable devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D27/00Lighting arrangements
    • F25D27/005Lighting arrangements combined with control means
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36Visual displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/06Sensors detecting the presence of a product
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/08Sensors using Radio Frequency Identification [RFID]

Abstract

Die vorliegende Erfindung betrifft Kältegerätesystem (200), das ein Kältegerät (100) mit einem Kameramodul (101) zum Erfassen von Bilddaten eines Kühlgutes (103) in einem Kältefach (105) des Kältegerätes (100) und ein drahtloses Kameramodulbediengerät (300) zur Bedienung des Kameramoduls (101) umfasst.

Description

  • Die vorliegende Erfindung betrifft ein Kältegerätesystem, das ein Kältegerät mit einem Kameramodul umfasst.
  • Bei einem Kältegerät mit einem Kameramodul und einer stationären Anzeige können aufgenommene Bilddaten nur lokal am Kältegerät angezeigt werden. Die Steuerung des Kältegerätes erfolgt über separat bereitgestellte Schalter oder Regler.
  • Es ist die der Erfindung zugrundeliegende Aufgabe, ein Kältegerätesystem anzugeben, bei dem die Bedienung vereinfacht wird.
  • Diese Aufgabe wird durch den Gegenstand mit den Merkmalen nach dem unabhängigen Anspruch gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Figuren, der Beschreibung und der abhängigen Ansprüche.
  • Gemäß einem Aspekt der Erfindung wird die Aufgabe durch ein Kältegerätesystem gelöst, das ein Kältegerät mit einem Kameramodul zum Erfassen von Bilddaten eines Kühlgutes in einem Kältefach des Kältegerätes und ein drahtloses Kameramodulbediengerät zur Bedienung des Kameramoduls umfasst. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die Steuerung des Kameramoduls vereinfacht wird.
  • Unter einem Kältegerät wird insbesondere ein Haushaltskältegerät verstanden, also ein Kältegerät, das zur Haushaltsführung in Haushalten oder im Gastronomiebereich eingesetzt wird, und insbesondere dazu dient Lebensmittel und/oder Getränke bei bestimmten Temperaturen zu lagern, wie beispielsweise ein Kühlschrank, ein Gefrierschrank, eine Kühlgefrierkombination, eine Gefriertruhe oder ein Weinkühlschrank.
  • In einer vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kameramodulbediengerät eine berührungsempfindliche Anzeige zum Steuern des Kameramoduls und Anzeigen der erfassten Bilddaten. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die Kameramodule auf einfache Weise tastenlos gesteuert werden können.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kältegerät mehrere Kameramodule und das Kameramodulbediengerät umfasst ein Mittel zum Auswählen eines Kameramoduls. Dadurch wird beispielsweise der technische Vorteil erreicht, dass ein bestimmtes Kameramodul zur Steuerung und Anzeige ausgewählt werden kann.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems sind die Kameramodule zum Erzeugen einer Rundumsicht auf das Kühlgut angeordnet und das Kameramodulbediengerät ist ausgebildet, einen Betrachtungswinkel der Rundumsicht zu steuern. Dadurch wird beispielsweise der technische Vorteil erreicht, dass das Kühlgut von unterschiedlichen Seiten her auf dem Anzeigegerät angezeigt werden kann.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kältegerät ein erstes Kameramodul zum Erfassen von ersten Bilddaten des Kühlgutes aus einer ersten Perspektive und ein zweites Kameramodul zum Erfassen von zweiten Bilddaten des Kühlgutes aus einer zweiten Perspektive. Dadurch wird beispielsweise der technische Vorteil erreicht, dass das Kühlgut von unterschiedlichen Seiten her aufgenommen und angezeigt werden kann.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das erste Kameramodul in einer Tür des Kältegerätes angeordnet und das zweite Kameramodul ist in einer Fachdecke angeordnet. Dadurch wird beispielsweise der technische Vorteil erreicht, dass sich die so gewonnenen Perspektiven gut ergänzen und umfangreiche Informationen über das Kühlgut gewonnen werden können.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das Kameramodulbediengerät ausgebildet, zwischen einem Anzeigen der ersten Perspektive und der zweiten Perspektive bei einem Kippen des Kameramodulbediengerätes zu wechseln. Dadurch wird beispielsweise der technische Vorteil erreicht, dass ein einfacher Perspektivenwechsel vorgenommen werden kann.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kältegerät ein Kamerafeld mit einer Mehrzahl von Kameramodulen zum Erzeugen einer aus Einzelbildern zusammengesetzten Ansicht. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die Kameramodule auf Basis einer Panoramaansicht erzeugt werden können.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das Kamerafeld in einer Tür des Kältegerätes angeordnet. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die Panoramaansicht aus der gleichen Perspektive gewonnen wird, aus der auch ein Benutzer bei geöffneter Tür den Inhalt des Kältegerätes wahrnehmen würde.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kältegerät eine Positionserfassungseinrichtung zum Erfassen einer Position des auf eine Außenseite des Kältegerätes aufgelegten Kameramodulbediengerätes. Dadurch wird beispielsweise der technische Vorteil erreicht, dass das Kältegerät anhand der Position weitere Steuerungen durchführen kann, beispielsweise für eine Beleuchtungseinrichtung.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das Kameramodulbediengerät ausgebildet, einen der erfassten Position des Kameramodulbediengerätes zugeordneten Bildbereich anzuzeigen. Dadurch wird beispielsweise der technische Vorteil erreicht, dass je nach erfasster Position diejenigen Bilddaten auf dem Anzeigegerät angezeigt werden, die der Position entsprechen. Dadurch lässt der sich Inhalt des Kältegerätes röntgenartig anzeigen.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems umfasst das Kältegerät eine Beleuchtungseinrichtung zum Beleuchten des Kühlgutes in dem Kältefach. Dadurch wird beispielsweise der technische Vorteil erreicht, dass das Kühlgut unter vorgegebenen Lichtverhältnissen aufgenommen werden kann.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist die Beleuchtungseinrichtung durch das Kameramodulbediengerät steuerbar. Dadurch wird beispielsweise der technische Vorteil erreicht, dass eine einfache und schalterlose Steuerung der Beleuchtungseinrichtung realisiert wird.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das Kameramodulbediengerät ausgebildet, die erfassten Bilddaten des Kühlgutes mit gespeicherten Bilddaten des Kühlgutes zu vergleichen. Dadurch wird beispielsweise der technische Vorteil erreicht, dass Veränderungen im Kältefach sichtbar gemacht werden können.
  • In einer weiteren vorteilhaften Ausführungsform des Kältegerätesystems ist das Kameramodulbediengerät ausgebildet, das Kühlgut anhand der erfassten Bilddaten zu identifizieren. Dadurch wird beispielsweise der technische Vorteil erreicht, dass eine Inhaltsliste des Kältegerätes erzeugt werden kann oder die Art des Kühlgutes bestimmt werden kann.
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben.
  • Es zeigen:
  • 1 eine schematische Ansicht eines Kältegerätes;
  • 2A eine perspektivische Ansicht eines Kältefachs mit zwei Kameramodulen;
  • 2B eine Vorderansicht des Kältefachs;
  • 3A eine perspektivische Ansicht eines Kältefachs mit einem Kameramodul;
  • 3B eine Aufsicht des Kältefachs;
  • 4 eine perspektivische Ansicht eines Kältefachs mit mehreren Kameramodulen;
  • 5 zwei Ansichten von unterschiedlichen Kameramodule;
  • 6 eine Aufsicht und eine Seitenansicht des Kältefachs in Verbindung mit einem Bildöffnungswinkel;
  • 7 eine Aufsicht auf das Kältefach bei Verwendung vom mehreren Kameramodulen;
  • 8 eine perspektivische Ansicht eines Kältefaches mit einer Sensormatte;
  • 9 eine Ansicht eines Kältegerätes mit einem Datenbus;
  • 10 eine weitere Ansicht eines Kältegerätes mit einem Datenbus;
  • 10A eine schematische Ansicht einer Anordnung der Kameramodule in einer Tür;
  • 11 eine schematische Ansicht eines Datenbusses mit Verteilerknoten;
  • 12 eine Ansicht einer Prozessoreinrichtung;
  • 13 Bilder von Kühlgut im Kältefach und eine Bildanalyse;
  • 14 eine Ansicht eines Kameramodulbediengerät mit einer berührungsempfindliche Anzeige;
  • 15 eine schematische Ansicht eines Kältegerätes mit einem Kamerafeld in einer Tür; und
  • 16A–C schematische Ansichten unterschiedlicher Anbindungen von Kameramodulen.
  • 1 zeigt einen Kühlschrank stellvertretend für ein Kältegerät 100 mit einer oberen und unteren Kühlschranktür 111. Bei dem Kältegerät 100 handelt es sich um ein alleinstehendes Gerät (Stand-Alone-Gerät).
  • Der Kühlschrank dient beispielsweise zur Kühlung von Lebensmitteln und umfasst einen Kältemittelkreislauf mit einem Verdampfer, einem Verdichter, einem Verflüssiger und einem Drosselorgan. Der Verdampfer ist ein Wärmeaustauscher, in dem nach der Expansion das flüssige Kältemittel durch Wärmeaufnahme von dem zu kühlenden Medium, d.h. der Luft im Inneren des Kühlschranks, verdampft wird.
  • Der Verdichter ist ein mechanisch betriebenes Bauteil, das Kältemitteldampf vom Verdampfer absaugt und bei einem höheren Druck zum Verflüssiger ausstößt. Der Verflüssiger ist ein Wärmeaustauscher, in dem nach der Kompression das verdampfte Kältemittel durch Wärmeabgabe an ein äußeres Kühlmedium, d.h. die Umgebungsluft, verflüssigt wird. Das Drosselorgan ist eine Vorrichtung zur ständigen Verminderung des Druckes durch Querschnittsverengung.
  • Das Kältemittel ist ein Fluid, das für die Wärmeübertragung in dem kälteerzeugenden System verwendet wird, das bei niedrigen Temperaturen und niedrigem Druck des Fluids Wärme aufnimmt und bei höherer Temperatur und höherem Druck des Fluids Wärme abgibt, wobei üblicherweise Zustandsänderungen des Fluids inbegriffen sind.
  • Das Kältegerät 100 umfasst die obere und untere Tür 111, die ein Kältefach im Inneren des Kältegerätes 100 verschließt. Daneben umfasst das Kältegerät 100 eine Seitenwand 109. Im Inneren des Kältegerätes 100 befindet sich ein elektronisches Kameramodul, das in der Lage ist, das Kühlgut im Inneren des Kältegerätes 100 mittels eines Einzelbildes aufzunehmen und Bilddaten zu erzeugen. Das Kameramodul 101 kann beispielsweise vom Kunden richtbare, schwenkbare oder einstellbare sein.
  • 2A zeigt eine perspektivische Ansicht des Kältefachs 105 mit zwei Kameramodulen 101. Das Kältefach 105 bildet einen Aufnahmeraum für das Kühlgut 103 im Inneren des Kältegerätes 100. Im Inneren des Kältefachs 105 befinden sich als Kühlgut 103 beispielsweise ein Becher und eine Lebensmitteltüte. Die beiden Kameramodule 101 sind an einer Vorderseite 131 des Kältefachs 105 auf gleicher Höhe und in einem horizontalen Abstand zueinander angeordnet, beispielsweise in der Tür 111 des Kältegerätes 100. Das Kühlgut 103 wird von den beiden Kameramodulen 101 von der Vorderseite des Kältegerätes 100 her aufgenommen. Die Kameramodule 101 an der Vorderseite 131 des Kältefachs 105 ermöglichen die Emulation der Sicht eines Benutzers auf den Inhalt des Kältefaches 105.
  • Zum Beleuchten des Kältefaches 105 während einer Aufnahme ist eine Beleuchtungseinrichtung 102 vorgesehen. Die Beleuchtungseinrichtung 102 ist beispielsweise eine Intrarotbeleuchtung oder eine Beleuchtung mit sichtbarem Licht. Die Beleuchtungseinrichtung 102 ist beispielsweise in einer Fachdecke des Kältefachs 105 angeordnet. Ein und das gleiche Bild kann mit unterschiedlicher Beleuchtung für zusätzliche Bildinformation oder eine höhere Auflösung aufgenommen werden.
  • Die Gestaltung des Innenraums des Kältefachs 105 kann bezüglich des Kameramoduls 105 optimiert sein, beispielsweise hinsichtlich einer Verstellbarkeit, einer Fachbodenanordnung, der Anordnung der Türabsteller zu den Fachböden oder einer Verstellbarkeit der Türabsteller. Die Kameramodule 101 sind beispielsweise zur Mitte des Kältegerätes hin geneigt. Die Kameramodule 101 können beweglich sein. Ein Kameramodul 101 in einer Seitenwand weist den Vorteil auf, dass ein Blick auf die Tür 111 gewonnen wird. Zudem können reflektierende Beschichtungen, Glasperlen, Mini-Retroreflektoren verwendet werden.
  • Frische-Fach hat keine eigene Kamera, transparenter Deckel, transparenter Fachboden, keine opake Leiste an der Fachbodenkante
  • Die Kameramodule 101 umfassen ein Lichtsensorfeld mit Farbsensoren, wie beispielsweise einen CCD-Chip. Das Lichtsensorfeld weist beispielsweise eine Auflösung von zumindest 640 × 480 Bildpunkten (VGA) und drei Farbkanäle mit einer Farbtiefe von zumindest 8 Bit je Farbkanal auf, beispielsweise RGB-Farbkanäle. Das Kameramodul 101 kann beispielsweise derart ausgestaltet sein, dass dieses nicht nur Bilddaten im sichtbaren Bereich aufnimmt, sondern zusätzlich auch Bilddaten im Infrarotbereich erfasst.
  • Verwendbare CCD-Bildsensoren für das Lichtsensorfeld bestehen aus einem Feld (Array) lichtempfindlicher Fotodioden. Diese können rechteckig, quadratisch oder polygonal sein, mit Kantenlängen von 1,4 µm bis über 20 µm. Je größer die Fläche der Fotodioden ist, desto höher sind die Lichtempfindlichkeit und der Dynamikumfang des CCD-Bildsensors. Bei gleicher Sensorgröße ist in diesem Fall die Bildauflösung jedoch kleiner. Die Kameramodule 101 weisen eine Schnittstelle zur Kommunikation mit einer Prozessoreinrichtung auf. Die gewonnenen Sensordaten des Lichtsensorfeldes können mit der Prozessoreinrichtung verarbeitet werden. Das System hat Strom nur bei Anforderung aktiv in der Größenordnung von 3 W und im Standby von 0,1 W.
  • 2B zeigt eine Frontalansicht des Kältefachs 105 aus der Perspektive eines der Kameramodule 101. In der Frontalansicht sind die Umrisse des Kühlgutes 103 vor dem Hintergrund einer Rückseite 129 des Kältefachs 105 zu erkennen.
  • Durch die Verwendung von zwei Kameramodulen 101, die in einem horizontalen Abstand zueinander angeordnet sind, lassen sich beispielsweise zwei Bilder des Kühlgutes 103 aufnehmen, die in einer stereoskopischen Ansicht einem Benutzer ein dreidimensionales Bild des Kühlgutes 103 vermitteln. Daneben entsteht bei der Verwendung von zwei Kameramodulen 101 der Vorteil, dass, selbst falls eines der Kameramodule 101 durch Kühlgut 103 verstellt sein sollte, der Innenraum des Kältefaches 105 durch das andere der Kameramodule 101 aufgenommen werden kann.
  • 3A zeigt eine weitere perspektivische Ansicht des Kältefachs 105 mit einem Kameramodul 101. Das Kameramodul 101 ist in der Fachdecke 113 des Kältefachs 105 angeordnet. Durch die Anordnung des Kameramoduls 101 in der Fachdecke 113 wird eine grundlegende Veränderung der Blickrichtung und eine Aufsicht auf den Inhalt des Kältefaches 105 ermöglicht.
  • 3B zeigt eine Aufsicht auf das Kältefach 105 aus der Perspektive des in der Fachdecke 113 angeordneten Kameramoduls 103. Diese Aufsicht kann für die Visualisierung des Inhaltes des Kältefaches 105 herangezogen werden.
  • Im Allgemeinen kann das Kameramodul auch an der Rückseite 129 oder einer Seitenwand 109 des Kältefaches 105 angeordnet sein. Hierdurch kann das Blickfeld für die Visualisierung des Inhaltes erweitert werden und unterschiedliche Perspektiven innerhalb des Kältefaches 105 oder eine Rundumsicht aufgenommen werden.
  • 4 zeigt eine perspektivische Ansicht eines Kältefachs 105 mit mehreren Kameramodulen 101. Die Kameramodule 101 sind derart angeordnet, dass das Kühlgut 103 von jeder Seite aus und unter unterschiedlichen Betrachtungswinkeln aufgenommen werden kann. Durch ein Zusammensetzen der von den einzelnen Kameramodulen 101 aufgenommenen Bilder lässt sich eine Rundumansicht des Kühlgutes 103 in dem Kältefach 105 erzeugen.
  • Damit das Kühlgut 103 mit einer ausreichenden Helligkeit durch das Kameramodul 101 aufgenommen werden kann, wird eine Beleuchtungseinrichtung 102 im Innenraum des Kältefaches 105 realisiert. Das Kameramodul 101 und die Beleuchtungseinrichtung 102 können beispielsweise in einem gemeinsamen Bauraum angeordnet sein.
  • Beispielsweise ist im Inneren des Kältegerätes 100 ein Blitzlichtgerät (Flash-Light) zum Aussenden eines Lichtblitzes während einer Aufnahme als Beleuchtungseinrichtung 102 angeordnet, so dass eine Aufnahme mittels Blitzlicht gewonnen wird. Das Blitzlichtgerät ist beispielsweise an dem Kameramodul 101 angeordnet. Das Blitzlichtgerät kann durch eine zusätzliche Steuerung aktiviert werden, die ein Steuersignal für jedes Kameramodul 101 ausgibt. Die Lichtintensität des Blitzes kann mit einem speziellen Blitzbelichtungsmesser oder einem Belichtungsmesser mit Doppelfunktion gemessen werden.
  • Daneben kann das Kältegerät 100 ein Leuchtdiodenfeld (LED-Array) als Beleuchtungseinrichtung 102 umfassen, das derart angeordnet ist, dass das Kühlgut 103 im Kältefach 105 möglichst gleichmäßig von allen Seiten beleuchtet wird. Das Leuchtdiodenfeld kann zentral gesteuert werden. Zudem kann durch das Leuchtdiodenfeld auf einfache und energiesparende Weise eine homogene oder adaptive Beleuchtung des Kältefachs 105 realisiert werden und ein Schattenwurf reduziert werden.
  • Im Allgemeinen können jedoch auch alle anderen geeigneten Beleuchtungseinrichtungen verwendet werden, wie beispielsweise LED-Streifen, Glühlampen oder Neonröhren. Bei geöffneter Kältegerätetür kann eine Raumbeleuchtung als Innenbeleuchtung verwendet werden.
  • 5 zeigt zwei unterschiedliche Kameramodule 101-1 und 101-2. Für die Bilderfassung stehen zwei Typen von Kameramodulen 101-1 und 101-2 zur Verfügung, die zum Einbau in dem Kältegerät 100 geeignet sind. Die fertigen Kameramodule 101-1 und 101-2 umfassen beispielsweise ein Lichtsensorfeld, ein Objektiv und einen Mikrocontroller 104.
  • Kameramodule 101-1 und 101-2 mit integriertem Mikrocontroller 104 sind auf einfache Weise in das Kältegerät 100 zu integrieren. Existiert ein Treiber für das jeweilige Kameramodul 101-1 und 101-2 wird die Integration ebenfalls vereinfacht. Falls die Kameramodule 101-1 und 101-2 eine USB-Schnittstelle umfassen, können die Kameramodule 101-1 und 101-2 direkt an einen USB-Datenbus oder einen PC angeschlossen werden. Die Kameramodule 101-1 und 101-2 weisen einen Imager auf, der Bildrohdaten zur Auswertung bereitstellt.
  • Die Kameramodule 101-1 und 101-2 sind gegen Fruchtsäure, Staub und Feuchtigkeit geschützt. Die Kameramodule 101-1 und 101-2 können in einem gekapseltem Gehäuse angeordnet sein oder und mit einer Linsenheizung durch eine IR-LED und/oder Linsenbeschichtung versehen sein, um ein Beschlagen zu verhindern.
  • Das erste Kameramodul 101-1 umfasst eine Lochblende 135 (Pin Hole-Linse) und eine Platine 133, auf der ein Chip mit einem Lichtsensorfeld und ein Mikrocontroller 104 angeordnet sind. Das Kameramodul 101-1 wird durch eine Lochkamera 107 (Pin Hole-Kamera) gebildet, die eine Glasabdeckung gegen Verschmutzung umfassen kann. Obwohl die Lichtstärke der Lochkamera 107 kleiner als diejenige von fokussierenden Kameras ist, ist die Schärfentiefe der Lochkamera 107 größer. Die geringere Lichtstärke kann jedoch in einfacher Weise durch eine längere Belichtungszeit kompensiert werden, da im Inneren des Kältefachs 105 keine Bewegungen stattfinden.
  • Das zweite Kameramodul 101-2 umfasst ein Objektiv 109 und eine Platine 133, auf der ein Chip mit einem Lichtsensorfeld und ein Mikrocontroller angeordnet sind. Das Objektiv 109 kann beispielsweise eine Brennweite von weniger als 10 mm (Miniaturobjektiv) aufweisen, so dass auch das Objektiv 109 eine hohe Tiefenschärfe erzeugt und ein Nahbereich abgebildet werden kann. Das Objektiv 109 ist beispielsweise ein Weitwinkelobjektiv mit einem Bildöffnungswinkel von über 60°. Der Bildöffnungswinkel beschreibt den Winkelbereich, der von dem Kameramodul 101-2 erfasst werden kann. Zusätzlich können die Kameramodule 101-1 und 101-2 weitere Umlenkungseinrichtungen wie beispielsweise klappbare oder rotierende Prismen, Spiegel, Linsen oder Halbleiterspiegel umfassen.
  • Die Platine 133 weist beispielsweise Abmessungen von 32 mm × 32 mm auf. Auf der Platine 133 sind beispielsweise elektrische Schaltungen für den Mikrocontroller 104 und eine Schnittstelle zum Anschließen des Kameramoduls 101 an einen Datenbus gebildet, so dass Bilddaten als Datei bereitgestellt werden können. Die Platine 133 ist beispielsweise in der Tür 111 im Schaum gebildet.
  • Die Höhe des Kameramoduls 101-1 und 101-2 wird von dem Objektiv 109 oder der Lochblende 135 definiert und liegt beispielsweise zwischen 10 mm und 30 mm. Lochblenden 135 ermöglichen eine geringere Tiefe des Kameramoduls 101 von unter 20 mm. Zudem benötigt ein Kameramodul 101-1 mit einer Lochblende 135 eine kleinere Öffnung oder Aussparung zur Montage in einer Wand des Kältegerätes 100. Für ein Kameramodul 101-1 mit einer Lochblende 135 beträgt die Tiefe der Aussparung beispielsweise 2 mm bis 3 mm, wohingegen bei einem Kameramodul 101-2 mit einem Objektiv 109 die Tiefe der Aussparung ca. 10 mm beträgt. Das Kameramodul 101-1 mit der Lochblende 135 kann auch ohne Platine 133 realisiert sein und kann dann Abmessungen von beispielsweise 10 mm × 10 mm × 7 mm aufweisen. Eine Lochkamera 107 mit einer Lochblende 135 kann beispielsweise einen Bildöffnungswinkel von 120° zulassen.
  • Die Kameramodule 101-1 und 101-2 können unterschiedliche Schnittstellen zum Übertragen von Bilddaten aufweisen, wie beispielsweise eine RS232-Schnittstelle, eine SPI-Schnittstelle, eine IIC-Schnittstelle oder eine USB-Schnittstelle.
  • 6 zeigt eine Aufsicht und eine Seitenansicht des Kältefachs 105 in Verbindung mit unterschiedlichen Bildöffnungswinkeln für ein Kältefach 105 mit 20 cm × 60 cm × 50 cm. Der Bildöffnungswinkel beschreibt den Winkelbereich, der von dem Kameramodul 101 bildmäßig erfasst werden kann. Bei verschiedenen Bildöffnungswinkeln ergeben sich unterschiedliche Sichtbereiche des Kameramoduls 101. Seitlich von dem Kameramodul 101 befinden sich im Kältefach 105 einzelne Bereiche 137, die nicht einsehbar sind und die mit größer werdendem Bildöffnungswinkel kleiner werden.
  • 7 zeigt eine Aufsicht auf das Kältefach 105 bei Verwendung vom mehreren Kameramodulen 105. Links ist eine Anordnung mit vier Kameramodulen 101 mit einem Bildöffnungswinkel von 40° gezeigt. Demgegenüber ist rechts eine Anordnung mit drei Kameramodulen 101 und einem Bildöffnungswinkel von 60° gezeigt. Bei größerem Bildöffnungswinkel können weniger Kameramodule 101 verwendet werden, um einen gleichen Sichtbereich 139 abzudecken.
  • Der Bildöffnungswinkel bestimmt die Anzahl der Kameramodule 101, um ein geschlossenes Abbild erzeugen zu können. Zwischen dem Bildöffnungswinkel und der Anzahl der Kameramodule 101 kann je nach Größe des Kältefachs 105 ein Kompromiss gefunden werden. Ein größerer Bildöffnungswinkel führt jedoch zu einer stärkeren Verzeichnung. Beispielsweise ergibt sich eine kissenförmige Verzeichnung 141 oder eine tonnenförmige Verzeichnung 143. Typ und Stärke der Verzeichnung 141 und 143 können zur weiteren Bildverarbeitung identifiziert und kompensiert werden. Hierzu kann ein Muster verwendet werden.
  • 8 zeigt ein Kältefach 105 mit einer Sensormatte 115 zum Erfassen einer Veränderung einer Belastung eines Fachbodens 117. Die folienartige Sensormatte 115 kann zur Erkennung von Gewichtsveränderungen genutzt werden. Die Sensormatte 115 ist wenige Millimeter dick und wird auf den Fachboden 117 aufgelegt. Die Sensormatte 115 misst die Veränderung von Belastungen auf dem horizontalen, flachen und festen Fachboden 117 und eignet sich zur Überwachung von freistehendem und gestapeltem Kühlgut 103 auf dem Fachboden 117. Hierdurch lassen sich beispielsweise Füllstände von Behältnissen durch einen Vergleich des Gewichtes mit einem Initialwert ermitteln. Daneben lassen sich auch Umplatzierungen des Kühlgutes 103 verfolgen, so dass eine Detektion der Position erfolgt.
  • Zudem kann die Position eines neu eingestellten Kühlgutes 103-2 erfasst werden. Wird das Kühlgut 103-2 beispielsweise zu dem Kühlgut 103-1 auf dem Fachboden 117 hinzugefügt, erkennt die Sensormatte 117 den Flächenbereich, auf dem das Kühlgut 103-2 hinzugefügt worden ist. Dadurch lassen sich Veränderungen in dem Kältefach 105 zusätzlich zu einer optischen Veränderung in den von dem Kameramodul 101 erfassten Bilddaten erkennen.
  • Zusätzlich kann das Kältegerät 100 ein Lesegerät für Funketiketten (RFID-Etiketten) umfassen, so dass das Kühlgut 103 im Kältefach 105 mittels eines Auslesens der Etiketten erfasst werden kann. Das Lesegerät für Funketiketten ist eine elektronische Schaltung, die in der Lage ist, die in elektronischen Etiketten gespeicherte Information mittels Funkwellen auszulesen.
  • Sowohl das Lesegerät für Funketiketten als auch die Sensormatte 115 können als zusätzliche Sensoren zur Ergänzung einer optischen Bilderfassung vorgesehen sein, beispielsweise als Ersatz oder Ergänzung zu der optischen Erkennung eines EAN-Codes. Dadurch wird die Zuverlässigkeit erhöht und es werden weitere Anwendungen ermöglicht.
  • Daneben kann das Kameramodul 101 eine steuerbare Schwenkeinrichtung zum Drehen einer Aufnahmerichtung des Kameramoduls 101 und/oder eine steuerbare Zoomeinrichtung zum Vergrößern einer Aufnahme des Kameramoduls 101 umfassen. Zusätzlich kann das Kameramodul 101 eine Verschiebungseinrichtung zum steuerbaren horizontalen und/oder vertikalen Verschieben des Kameramoduls 101 an einer Wand des Kältegerätes 100 umfassen. Die Schwenkeinrichtung, die Verschiebungseinrichtung und die Zoomeinrichtung können mittels einer geeigneten Mechanik in Verbindung mit einem elektromotorischen Antrieb realisiert sein und über eine Prozessoreinrichtung über einen Datenbus gesteuert werden.
  • 9 zeigt ein Kältegerät 100 mit dem Datenbus 121. Das Kältefach 105 umfasst vier Kameramodule 101, die in den jeweiligen Ecken des Kältefachs 105 angeordnet sind. Zusätzlich umfasst das Kältegerät 100 eine Prozessoreinrichtung 119, an die die Bilder von den einzelnen Kameramodulen 101 übermittelt werden. Die Prozessoreinrichtung 119 umfasst einen Prozessor und einen Speicher und dient zur Verarbeitung der übermittelten Bilddaten.
  • Ein Datenbus 121 dient zur Übermittlung der Bilddaten von dem Kameramodul 101 zu der Prozessoreinrichtung 119. Ein Datenbus ist ein System zur Datenübertragung zwischen mehreren Teilnehmern über einen gemeinsamen Übertragungsweg, bei dem die Teilnehmer nicht an der Datenübertragung zwischen anderen Teilnehmern beteiligt sind.
  • Jedes der vier Kameramodule 101 ist mit einem separaten Datenbus 121 verbunden. An diese Datenbusse 121 können weitere Geräte angeschlossen werden und gesteuert werden. Der Datenbus 121 ist teilweise in der Seitenwand 109 des Kältegerätes 100 integriert. Der Datenbus 121 ist durch elektrische Leitungen gebildet, die Signale von den Kameramodulen 101 zu der Prozessoreinrichtung 119 übertragen.
  • Der Datenbus 121 ist beispielsweise ein serieller Bus, mit dem die einzelnen Bits oder Datenpakete in einer seriellen Datenübertragung nacheinander (seriell) über die Leitung übertragen werden. Der Datenbus 121 implementiert beispielsweise einen USB-Standard, einen I2C-Standard, einen SPI-Standard oder einen CAN-Standard, oder beispielsweise einen DBus2-Standard oder DBus3-Standard. Der Datenbus 121 ist beispielsweise ein Hi-Speed Bus (USB). Ein serieller Datenbus 121 weist den Vorteil auf, dass dieser mit einer geringen Anzahl von Leitungen realisiert werden kann.
  • Die Kameramodule 101 und die Prozessoreinrichtung 119 verfügen ebenfalls über eine serielle Schnittstelle zum Anschließen des Datenbusses 121. Vorteilhaft ist die Verwendung von Kameramodulen 101 und Systemen, für die bereits Treiber existieren. Der Datenbus 121 kann zu diesem Zweck mit Anschlusseinrichtungen, wie beispielsweise Steckverbindern, zum Anschließen der Kameramodule 101 vorkonfektioniert sein. In diesem Fall kann bei einem Defekt das Kameramodul 101 auf einfache Weise ausgetauscht und ersetzt werden. Zudem können der Datenbus 121 und angeschlossene Komponenten derart ausgebildet sein, dass die Komponenten, wie beispielsweise Kameramodule 101 oder Beleuchtungseinrichtungen 102 über den Datenbus 121 mit elektrischer Leistung oder Strom versorgt werden. Dadurch verringert sich ein Verkabelungsaufwand im Inneren des Kältegerätes 100.
  • 10 zeigt ein weiteres Kältegerät 100 mit dem Datenbus 121. Das Kältefach 105 umfasst vier Kameramodule 101, die in den jeweiligen Ecken des Kältefachs 105 angeordnet sind. Jeweils zwei der vier Kameramodule 101 sind an dem gleichen Datenbus 121 angeschlossen. Zwei der Kameramodule 101 sind in einer Tür 111 des Kältegerätes 100 angeordnet und erzeugen eine Frontalansicht des Kältefachs 105. Der Datenbus 121 zu diesen Kameramodulen 101 ist mittels einer Kabeldurchführung durch ein Scharnier 123 der Tür 111 geführt.
  • Den jeweiligen Kameramodulen 101 ist eine logische oder physikalische Adresse zugeordnet, über die die Kameramodule 101 an dem Datenbus 121 einzeln ansprechbar sind. Zusätzlich können nach Bedarf weitere lokale Verteilerknoten vorgesehen sein. Die Dauer einer Bildabfrage von der Prozessoreinrichtung 119 über den Datenbus 121 sollte eine vorgegebene Zeitspanne nicht überschreiten.
  • 10A zeigt eine schematische Ansicht und eine Querschnittsansicht einer Anordnung von sechs Kameramodulen 101 auf der Innenseite einer Tür 111. An der Außenseite umfasst die Tür 111 einen Türgriff 169. Die Kameramodule 101 erfassen die Bilddaten aus einem gleichen Bereich im Inneren eines Kältefachs 105 von unterschiedlichen Blickwinkeln her. Je zwei der Kameramodule 101 bilden ein Paar mit einem ersten und einem zweiten Kameramodul 101 für eine stereoskopische Bildaufnahme.
  • Je zwei der Kameramodule 101 sind in der Tür 111 als Paar auf der gleichen Höhe angeordnet. Ein erstes Kameramodul 101 des Paares ist an einem rechten Türholm 167 angeordnet und ein zweites Kameramodul 101 ist an einem linken Türholm 167 angeordnet. Die Kameramodule 101 sind in einer Ecke der Türholme 167 an der Innenseite der Tür 111 angeordnet. Die Kameramodule 101 sind beispielsweise in einem Körper der Tür 111 integriert, so dass diese nicht aus der Innenseite der Tür 111 herausstehen.
  • Jedem Kameramodul 101 ist jeweils eine Beleuchtungseinrichtung 102 zugeordnet, beispielsweise in Form einer weißen Leuchtdiode in der Tür 111. Die jeweilige Beleuchtungseinrichtung 102 ist schräg neben dem jeweiligen Kameramodul 101 angeordnet.
  • In der Mitte der Tür 111 ist ein Türabsteller 165 gebildet, in den Kühlgut 103 abgestellt werden kann, wie beispielsweise Flaschen. Der Türabsteller 165 ist nicht höhenverstellbar. Zwei der Kameramodule 101 befinden sich direkt unterhalb des Türabstellers 165, so dass diese nicht von Kühlgut 103 im Inneren des Kältegerätes 100 verstellt werden können. Zwei weitere Kameramodule 101 sind in einem oberen Bereich der Tür 111 angeordnet, so dass auch diese nicht von Kühlgut verstellt werden können und eine Bildaufnahme von schräg oben durchgeführt werden kann.
  • Die jeweiligen Paare an Kameramodulen 101 sind auf unterschiedlichen Höhen auf der Innenseite der Tür 111 angeordnet, so dass die Aufnahme aus unterschiedlichen Blickwinkeln gewonnen werden kann. Dazu erfasst beispielsweise jeweils ein Paar von Kameramodulen 101 einen gleichen Bereich im Inneren eines Kältefachs 105 von unterschiedlichen Blickwinkeln her.
  • Die Tür 111 umfasst einen integrierten Datenbus 121 zum Verbinden der Kameramodule 101 mit einer Prozessoreinrichtung 119, so dass die von den Kameramodulen 101 gewonnen Bilddaten zur weiteren Verarbeitung übermittelt werden können. Alle sechs Kameramodule 101 sind beispielsweise mit dem gleichen Datenbus 121 verbunden. Dieser Datenbus 121 kann als ein serieller Datenbus ausgebildet sein, so dass die Übertragung der Bilddaten mit einem geringen Verkabelungsaufwand durchgeführt werden kann. Jeweils das erste und das zweite Kameramodul 101 eines Paares kann jeweils eine Zoomeinrichtung zum synchronen Vergrößern der stereoskopischen Bildaufnahme umfassen. Im Allgemeinen können die Kameramodule 101 auch an anderen Orten im Inneren des Kältegerätes angeordnet sein, wie beispielsweise an einer Rückseite des Kältegerätes 100.
  • 11 zeigt eine schematische Ansicht eines Datenbusses 121 in einem Kältegerät 100 mit mehreren Verteilerknoten 125. Die Verteilerknoten 125 bilden jeweils ein Hilfsmodul zum Anschließen der Kameramodule 101 und weisen entsprechende Schnittstellen auf. Die Verteilermodule 125 sind beispielsweise mittels einer eingebetteten Plattform realisiert, wie beispielsweise einem Beagleboard.
  • Die Verteilerknoten 125 dienen zum Verteilen von Bilddaten und Steuersignalen zwischen der Prozessoreinrichtung 119 und den Kameramodulen 101 und können Bildwandlungseinheiten bilden. Daneben kann in dem Verteilerknoten 125 eine Datenkomprimierung durchgeführt werden. Außerdem kann in den Verteilerknoten 125 auch eine Protokollumsetzung stattfinden.
  • Die an dem Datenbus 121 angeschlossenen Kameramodule 101 können einen Mikrokontroller umfassen, durch den eine Komprimierung der gewonnenen Bilddaten erfolgt. Dadurch kann eine Komprimierungseinrichtung zum Komprimieren der Bilddaten realisiert werden. Bei dieser Komprimierung werden die im Bitmap-Format gewonnenen Bilddaten beispielsweise in Bilddaten nach dem JPEG-Format umgewandelt und im JPEG-Format über den Datenbus 121 übertragen. Dadurch entsteht der Vorteil, dass die Übertragung mit weniger Daten durchgeführt wird und eine kürzere Zeitspanne in Anspruch nimmt.
  • 12 zeigt eine perspektivische Ansicht der Prozessoreinrichtung 119. Die Prozessoreinrichtung 119 umfasst eine Schnittstelle 145 zum Übertragen der Bilddaten an ein externes Netzwerk. Die Schnittstelle 145 ist beispielsweise eine drahtlose WLAN-Schnittstelle, eine Bluetooth-Schnittstelle, eine Ethernet-Schnittstelle oder eine Mobilfunkschnittstelle wie GSM, UMTS, oder LTE. Über die Schnittstelle 145 können die Bilddaten an ein externes Netzwerk bereitgestellt werden. Gegebenenfalls ist mittels der Schnittstelle 145 ein direkter Anschluss an einen Personal Computer möglich. Der Personal Computer kann zur Verarbeitung der Sensordaten verwendet werden, beispielsweise Verzerrungen herausnehmen, Rauschen entfernen, künstliches Schärfen oder Kontrast erhöhen.
  • Die Prozessoreinrichtung 119 dient zum Verarbeiten der Sensor- und Bilddaten aus den Kameramodulen 101. Für eine Bilderkennung kann eine Programmbibliothek mit Algorithmen für die Bildverarbeitung und maschinelles Sehen verwendet werden, wie beispielsweise OpenVC. Realisierbare Methoden der Bilderkennung sind beispielsweise das Erkennen einer Veränderung, das Erkennen eines Barcodes oder das Erkennen definierter Logos (Mustererkennung). Als Betriebssystem der Prozessoreinrichtung 119 kann Linux verwendet werden.
  • Mittels der Prozessoreinrichtung 119 können die Bilddaten von den Kameramodulen 101 abgerufen werden und die so übermittelten Bilddaten verarbeitet werden. In diesem Zusammenhang kann eine Bildbearbeitung durchgeführt werden, beispielsweise ein Entstören oder Zusammensetzen der Bilddaten zu größeren Einheiten. Zusätzlich kann eine Analyse und Auswertung der Bilddaten vorgenommen werden, beispielsweise ein erkennen von Differenzbildern oder Differenzobjekten. Bei dieser Auswertung lassen sich von den Kameramodulen 101 aufgenommenes Kühlgut 103 identifizieren und zugehörige Zusatzinformationen ermitteln. Die Bilddaten können über ein drahtloses Netzwerk bereitgestellt werden.
  • Zusätzlich kann von der Prozessoreinrichtung 119 eine Steuerung einer Beleuchtungseinrichtung 102 zum Beleuchten des Kältefachs 105 während einer Aufnahme durchgeführt werden. Zu diesem Zweck umfasst das Kältegerät 100 eine Beleuchtungseinrichtung 102, die an dem Datenbus 121 angeschlossen ist und über diesen steuerbar ist.
  • 13 zeigt ein erstes von dem Kameramodul 101 aufgenommenes Bild aus ersten Bilddaten 147 und ein zweites von dem Kameramodul 101 aufgenommenes Bild aus zweiten Bilddaten 149. Die zweiten Bilddaten 149 sind zu einem späteren Zeitpunkt als die ersten Bilddaten 147 aufgenommen worden. Mittels der Prozessoreinrichtung 119 oder einem externen Kameramodulbediengerät, auf dem eine Applikation (App) läuft, kann eine Frischebestimmungseinrichtung realisiert werden, die zum Bestimmen eines Frischezustands des Kühlgutes auf Basis der ersten Bilddaten 147 und der zweiten Bilddaten 149 dient. Der Zeitabstand zwischen den ersten und den zweiten Bilddaten 147 und 149 beträgt beispielsweise einen Tag.
  • In beiden Fällen werden durch die Beleuchtungseinrichtung 102 weitgehend gleiche Beleuchtungsverhältnisse im Kältefach 105 realisiert, um eine Vergleichbarkeit der zeitversetzten Aufnahmen zu gewährleisten. Damit die Bilddaten 147 und 149 nicht durch Umgebungslicht verfälscht werden, das bei einem Öffnen der Tür 111 des Kältegerätes 100 in das Kältefach 105 eintritt, umfasst das Kältegerät 100 einen Sensor zum Erfassen einer Öffnung der Tür 111. Wird durch den Sensor erfasst, dass die Tür 111 des Kältegerätes 100 offen steht, wird keine Erfassung der Bilddaten durchgeführt. Erst bei geschlossener Tür 111 werden die Bilddaten erfasst. Die Bilddaten werden nach dem Schließen der Tür 111 aufgenommen, nachdem eine gleichmäßige Beleuchtung des Innenraums des Kältefachs 105 vorgenommen worden ist.
  • Zudem lässt sich durch einen Vergleich der ersten Bilddaten und der zweiten Bilddaten ein Hinzustellen oder Entnehmen von Kühlgut 103 feststellen. Die Bilddaten 151 zeigen die Subtraktion der zweiten Bilddaten 149 von den ersten Bilddaten 147. Die ersten Bilddaten 147 und die zweiten Bilddaten 149 sind beispielsweise Dreifarb-Bilddaten (RGB) mit einer Farbauflösung von 24 Bit je Bildpunkt.
  • Durch die Subtraktion kann der Unterschied und die Veränderung zwischen beiden Bilddaten 147 und 149 ermittelt werden. Im gezeigten Beispiel stellt der Bildbereich 153 das Kühlgut 103 dar, das aus dem Kältefach 105 entnommen worden ist. Ein Einblenden oder Ausblenden des Inhalts des Kältefachs 105 sowie der ermittelten Veränderung kann auf einer Anzeige des Kältegerätes 100 erfolgen, beispielsweise einem Tablet-PC oder einem Smartphone. Daneben kann eine Kontur des Kühlgutes 103 und der bewirkten Veränderung hervorgehoben werden.
  • In ähnlicher Weise lässt sich eine zeitliche Veränderung des Kühlgutes 103 bestimmen, das aus einer verderblichen Ware besteht. Eine durch die Prozessoreinrichtung 119 oder das Kameramodulbediengerät mittels einer Applikation gebildete Frischebestimmungseinrichtung, bestimmt den Frischezustand des Kühlgutes 103 auf Basis eines Farbunterschieds zwischen den ersten Bilddaten 147 und den zweiten Bilddaten 149. Anhand eines auftretenden Farbunterschieds kann dann mit einem geeigneten Algorithmus bestimmt werden, ob das Kühlgut 103 noch frisch oder haltbar ist. Zusätzlich können zur Frischebestimmung die Daten über Gewichtsveränderungen genutzt werden, die durch die Sensormatte 115 erfasst werden.
  • Außerdem ist es möglich, dass die Frischebestimmungseinrichtung ausgebildet ist, die Art des Kühlgutes 103 auf Basis der ersten Bilddaten oder der zweiten Bilddaten zu erfassen. Die Frischebestimmungseinrichtung kann beispielsweise automatisch erkennen, um welche Art einer verderblichen Ware es sich bei dem Kühlgut 103 handelt. Beispielsweise ist die Frischebestimmungseinrichtung durch eine Bildanalyse in der Lage zu erkennen, ob das Kühlgut 103 im Kältefach 105 aus Bananen oder Tomaten besteht. Ein Bildauswertungsalgorithmus vergleicht die Aufnahme des Kameramoduls 101 mit vorgespeicherten Bilddaten und erkennt dadurch das Kühlgut 103.
  • Sollte eine automatische Erkennung der Art des Kühlgutes 103 fehlschlagen, kann das Kältegerät 100 eine Eingabevorrichtung zum manuellen Eingeben der Art des Kühlgutes 103 umfassen. Diese wird beispielsweise durch eine berührungsempfindliche Anzeige oder ein Anzeigegerät gebildet, auf der unterschiedliche Arten des Kühlgutes 103 in Menüform angezeigt werden. Ein Benutzer wählt durch Tippen auf den entsprechenden Menüpunkt ein bestimmtes Kühlgut aus, das dieser im Kältefach 105 deponiert hat. Anhand der eingegebenen oder ermittelten Art des Kühlgutes 103 lässt sich der Frischezustand des Kühlgutes 103 mittels eines Farbunterschiedes präziser bestimmen.
  • Zum Erfassen eines Frischezustands kann ein spezielles Kameramodul 101 verwendet werden, das die Bilddaten nicht nur im sichtbaren Spektralbereich sondern gleichzeitig auch im Infrarot-Spektralbereich bestimmt. Das Kameramodul 101 kann ein dichroitisches Element umfassen, das einen Strahlengang des Infrarotlichtes von dem des sichtbaren Lichts trennt.
  • Das dichroitische Element ist beispielsweise ein optisches Prisma, das einen Lichtstrahl in zwei Strahlen unterschiedlicher Spektren oder Farben aufteilt. Das dichroitische Element ist beispielsweise aus einem Glas gefertigt, bei dem bestimmte Oberflächen mit dichroitischen Spiegeln versehen sind, die Licht abhängig von dessen Wellenlänge reflektieren oder durchlassen.
  • Das sichtbare Licht wird durch ein erstes Lichtsensorfeld erfasst und das abgetrennte Infrarotlicht durch ein zweites Lichtsensorfeld. Die Anzahl, Anordnung und Art der Kameramodule 101 sowie der Beleuchtung wird im Allgemeinen in Abhängigkeit des gewünschten Ausführungskonzeptes bestimmt.
  • Um das Kühlgut 103 während der Bildaufnahme zu beleuchten, ist im Kältefach 105 eine Beleuchtungseinrichtung 102 vorgesehen, die das Kältefach 105 in gleicher Weise bei jeder Aufnahme beleuchtet. Um eine spektrale Analyse des Kühlgutes 103 bei einer vorgegebenen Frequenz durchführen zu können, kann die Beleuchtungseinrichtung 102 beispielsweise monochromatisches und schmalbandiges Licht einer vorgegebenen Frequenz aussenden. Beispielsweise umfasst die Beleuchtungseinrichtung 102 eine durchstimmbare Leuchtdiode zum Aussenden eines monochromatischen Lichtes veränderlicher Wellenlänge. Allerdings kann die Beleuchtungseinrichtung 102 auch derart ausgebildet sein, dass diese polychromatisches weißes Licht oder infrarotes Licht aussendet.
  • Das Kältegerät 100 kann ein Steuer- und Anzeigegerät umfassen, das den bestimmten Frischezustand des Kühlgutes 103 einem Benutzer anzeigt. Überschreitet der erfasste Farbunterschied oder eine farbliche Änderung von beispielsweise Obst oder Gemüse einen vorgegebenen Grenzwert, kann ein Benutzer über das Anzeigegerät benachrichtigt werden. Als Steuer- und Anzeigegerät kann ein Tablet-PC oder Smartphone eingesetzt werden.
  • Liegen die Bilddaten 147 und 149 in der Prozessoreinrichtung 119 oder dem Anzeigegerät vor, können hieraus weitere Informationen mittels Bilderkennungsalgorithmen extrahiert werden, beispielsweise mittels einer Applikation auf dem Kameramodulbediengerät. Diese Informationen können dann auf dem Kameramodulbediengerät angezeigt werden. Beispielsweise lassen sich anhand der aufgenommenen Bilddaten 147 und 149 nicht nur Veränderungen erkennen, sondern es lassen sich auch Strichcodes (Bar Codes) oder QR-Codes des Kühlgutes 103 erfassen oder eine Schrifterkennung durchführen. Eine weitere Auswertung der Codes kann über eine Produktdatenbank im Internet erfolgen, in der die entsprechenden Codes hinterlegt sind. Zudem können die ermittelten Produktdaten zu erfassten Änderungen in den Bilddaten zugeordnet werden.
  • Zudem ermöglicht eine Bildanalyse mittels Mustererkennung eine Identifizierung von Produktlogos. Hierzu sollten die Produktlogos eindeutig erkennbar sein und nicht von anderem Kühlgut 103 verdeckt sein. Sofern die Aufnahme ausreichende Details des Produktlogos beinhaltet, kann eine zuverlässige optische Erkennung des Produktes gewährleistet werden. Die Prozessoreinrichtung 119 kann mittels geeigneter Algorithmen auf eine Vielzahl von Produkten eintrainiert werden.
  • In Kombination mit der Produkterkennung kann eine Inhaltsliste des Kältegerätes 100 erstellt werden. Die Produkterkennung wird dabei mit Hilfe einer optischen Erkennung eines EAN-Codes auf dem Produkt realisiert. Produkte ohne EAN-Code, wie beispielsweise Obst oder Gemüse, können manuell aus einer Auswahlliste gewählt werden. Hierbei kann eine Produktregistrierung durch Erkennen des EAN-Codes durchgeführt werden. Nachdem das Produkt in das Kältegerät 100 gestellt worden ist, wird dann die hierdurch hervorgerufene Veränderung in den Bilddaten zugeordnet und hervorgehoben (Tracing).
  • Die Produktdatenbank des Kältegerätes 100 kann auf den gesamten Küchenbereich ausgeweitet werden. Hierzu wird zunächst ein Lagerort ausgewählt und eine Produktregistrierung durch Erkennen des EAN-Codes durchgeführt. Anschließend erfolgt die Ablage des Produktes durch den Benutzer. Die Bestandsliste kann bei der Entnahme von Waren aktualisiert werden. Eine Produkterkennung anhand des EAN-Codes und eine Zuordnung zu den Bilddaten sind ebenfalls möglich.
  • Eine Angabe von Zusatzinformationen, wie beispielsweise ein Mindest-Haltbarkeits-Datum (MHD) oder eine Mindestbestandsmenge, zu einem registrierten Produkt kann zur Überwachung verwendet werden. In diesem Fall kann der Benutzer die Zusatzinformation (MHD) angezeigt bekommen, wenn er das Produkt auf einer Anzeige oder in der Datenbank anwählt. Geht der Bestand des Produktes zur Neige oder läuft das Produkt ab, kann der Benutzer über das Kameramodulbediengerät benachrichtigt werden.
  • In diesem Zusammenhang findet beispielsweise eine Fusion der Bilddaten mit den Produktdaten durch Speichern der Konturinformation aus einer Bilderkennung nach der Registrierung eines Produktes statt. Mittels der Produktdatenbank können neben der Produktüberwachung weitere Anwendungen realisiert werden. Diese Anwendungen können beispielsweise in dem Erstellen eines Rezeptvorschlags anhand der Bestandsliste oder in einem Erstellen einer Einkaufsliste für häufig bezogene Produkte liegen. Ein lernfähiges System kann hierbei die Gewohnheiten des Benutzers berücksichtigen. Eine Online-Schnittstelle auf die Bestandsliste oder die Bilddaten ermöglicht den bequemen Zugriff von Unterwegs. Neben der reinen Bilderkennung und Bildanzeige stellt die Produkterfassung und Produktdatenbank mit der Anzeige von Zusatzinformationen für den Benutzer einen erhöhten Mehrwert dar.
  • 14 zeigt eine Ansicht eines tragbaren Kameramodulbediengerätes 300 mit einer berührungsempfindlichen Anzeige 303 (Touchscreen). Das Kameramodulbediengerät 300 ist beispielsweise ein Tablet-PC, der mittels eines WLANs mit dem Kältegerät 100 verbunden ist oder ein Smartphone, das mittels des Mobilfunknetzes mit dem Kältegerät 100 verbunden ist. Das Kameramodulbediengerät 300 kann jedoch auch mittels einer USB-Schnittstelle mit dem Kältegerät 100 verbunden sein. Die USB-Schnittstelle kann jedoch auch zum Laden des Kameramodulbediengerätes 300 verwendet werden.
  • Auf dem Kameramodulbediengerät 300 kann eine Anwendung oder Applikation ausgeführt werden, wie beispielsweise ein Computerprogramm. Zur Montage des Kameramodulbediengerätes 300 kann ein Montagekit vorgesehen sein. Das Kameramodulbediengerät 300 ist über ein drahtloses Netzwerk mit einem Router verbunden. Das Kameramodulbediengerät 300 kann als Bild-Server oder als Grafikrechner fungieren und die Bilddaten über ein WLAN sichern. Das tragbare Kameramodulbediengerät 300 kann von einem Benutzer ausgetauscht oder modernisiert werden.
  • Zwischen dem tragbaren Kameramodulbediengerät 300 und dem Kältegerät 100 können Daten bidirektional ausgetauscht werden. Das drahtlose Kameramodulbediengerät 300 ist ein Teil eines Kältegerätesystems und dient zum Anzeigen der von den Kameramodulen 101 erfassten Bilddaten. Der Benutzer kann das angezeigte Kältefach 105 somit in der Applikation auf dem Kameramodulbediengerät 300 auswählen. Daneben kann ein Ansichtswechsel durch Wischen auf der berührungsempfindlichen Anzeige 303 nach oben und unten oder durch Kippen des Kameramodulbediengerätes 300 nach rechts oder links erfolgen. Beispielsweise kann eine Winkelhaltung des Kameramodulbediengeräts 300 bestimmen, welches Kältefach 105 angezeigt wird.
  • Die Kameramodule 101 im Inneren des Kältefachs 105 weisen einen großen Bildöffnungswinkel auf. Für eine geschlossene Darstellung der Frontansicht werden mehrere Kameramodule 101 verwendet. Das Kältegerät 100 kann mehrere Kameramodule 101 umfassen, die derart im Kältefach 105 angeordnet sind, dass das Kühlgut 103 von allen Seiten aufgenommen wird und durch Zusammensetzen der Einzelbilder eine Rundumansicht erzeugt wird. Die Auswahl des Blickwinkels der Rundumansicht auf das Kühlgut 103 erfolgt durch Wischen auf der berührungsempfindlichen Anzeige 303 nach links und rechts.
  • Ein Kameramodul 101 mit einem großen Bildöffnungswinkel (Fischauge), das in einer Fachdecke 113 angeordnet ist, erlaubt eine Aufsicht auf das Kühlgut 103 im Kältefach 105. Ein weiteres Kameramodul 101 ist in einer Tür 111 des Kältegerätes 100 angeordnet. Das Kältefach 105 umfasst zusätzlich eine Beleuchtungseinrichtung 102 zur gleichmäßigen Beleuchtung des Kühlgutes 103. In diesem Fall und in allen anderen Fällen kann die Auswahl der jeweiligen Ansicht durch ein Kippen des Kameramodulbediengerätes 300 erfolgen.
  • Im Allgemeinen kann das Kältegerät 100 als ein Teil des Kältegerätesystems 200 ein erstes Kameramodul 101 zum Erfassen erster Bilddaten des Kühlgutes 103 aus einer ersten Perspektive und ein zweites Kameramodul 101 zum Erfassen zweiter Bilddaten des Kühlgutes 103 aus einer zweiten Perspektive umfassen. Ein Wechsel der Perspektive kann allgemein bei einer Berührung der berührungsempfindlichen Anzeige 303 erfolgen. Das Kältegerät 100 kann eine beliebige Beleuchtungseinrichtung 102 umfassen, die zum Beleuchten des Kühlgutes 103 in dem Kältefach 105 während einem Erfassen von Bilddaten geeignet ist. Die Beleuchtungseinrichtung 102 kann durch das Kameramodulbediengerät 300 steuerbar sein.
  • Seitlich ist auf dem Kameramodulbediengerät 300 eine Menüauswahl 305 angezeigt, über die das jeweilige Kältefach 105 mit dem entsprechenden Kameramodul 101 ausgewählt werden kann. Bei Auswahl des Kältefachs 105 durch Berühren der berührungsempfindlichen Anzeige 303 wird dessen Inhalt angezeigt. Zusätzlich kann die jeweilige Ansicht durch Wischen auf der berührungsempfindlichen Anzeige 103 ausgewählt werden. Die Ansicht kann vergrößert oder verkleinert werden, beispielsweise durch eine Auseinanderziehbewegung mit den Fingern auf der berührungsempfindlichen Anzeige 103. Daneben können Zusatzinformationen eingeblendet werden, wie beispielsweise ein Frischezustand des Kühlgutes 103 oder Veränderungen in den Bilddaten im Vergleich zu gespeicherten früheren Bilddaten.
  • Das Kameramodulbediengerät 300 kann die erfassten Bilddaten des Kühlgutes 103 mit gespeicherten Bilddaten des Kühlgutes 103 vergleichen. Daneben kann das Kameramodulbediengerät 300 das Kühlgut 103 anhand der erfassten Bilddaten mittels eines Analysealgorithmus identifizieren. Der Benutzer kann die Bilddaten des Kameramoduls 101 und die verarbeiteten Bilder auf dem Kameramodulbediengerät 300 auswählen, ansehen und zusätzliche Informationen anzeigen lassen, wie beispielsweise die Zuordnung eines Barcodes zu einem bestimmten Produkt. Die Bilddaten und die zugehörige Zusatzinformation werden hierzu von der Prozessoreinrichtung 119 des Kältegerätes 100 abgefragt, verarbeitet und bereitgestellt. Hierzu können die Kameradaten und Zusatzinformationen von einem externen zentralen Rechnersystem abgefragt, verarbeitet und bereitgestellt werden. Eine Zuordnung zwischen dem Kältegerät 100 und dem Kameramodulbediengerät 300 kann über eine zentrale Recheneinheit erfolgen, beispielsweise über Home Connect.
  • 15 zeigt eine schematische Ansicht eines Kältegerätes 100 mit einem Kamerafeld 127 in der Tür 111. Das Kältegerät 100 umfasst ein Kamerafeld 127 mit einer Mehrzahl von matrixartig angeordneten Kameramodulen 101, die auf der Innenseite der Tür 111 angeordnet sind. Jedes dieser Kameramodule 101 erzeugt ein Einzelbild in Frontalansicht von der Innenseite des Kältegerätes 100. Die Kameramodule 101 des Kamerafeldes 127 sind derart angeordnet, dass aus den Einzelbildern eine zusammengesetzte Ansicht der vollständigen Vorderansicht wie bei geöffneter Tür 111 erzeugt werden kann. Aus dem Kamerafeld 127 in der Kühlschranktür 111 wird ein Panoramabild zusammengesetzt, das eine geschlossene Aufnahme der Frontseite darstellt. Um ein Zusammenfügen der Einzelbilder zu verbessern, kann eine Kalibrierung der Kameramodule 101 durchgeführt werden.
  • Weiter umfasst das Kältegerät 100 eine Positionserfassungseinrichtung zum Erfassen einer Position des auf die Außenseite des Kältegerätes 100 aufgelegten Kameramodulbediengerätes 300. Durch diese Positionserfassungseinrichtung lässt sich beispielsweise ein Koordinatenpaar ermitteln, das angibt, an welcher Stelle der Vorderseite des Kältegerätes 100 das Kameramodulbediengerät 300 aufgelegt ist.
  • Im Anschluss kann ein dem Koordinatenpaar zugeordneter Bildbereich aus der zuvor zusammengesetzten Ansicht an das Kameramodulbediengerät 300 übermittelt werden. Dadurch wird der Eindruck hervorgerufen, dass ein Benutzer mittels des drahtlosen Kameramodulbediengerätes 300 röntgenartig durch die Wand des Kältegerätes 100 hindurchblicken kann. Der Benutzer kann zudem Bereiche der zusammengesetzten Ansicht vergrößern. Bei einer Bewegung des Kameramodulbediengerätes 300 vor der Vorderseite des Kältegerätes 100 verschiebt sich der entsprechende Bildbereich auf dem Kameramodulbediengerät 300 und das der Position des Kameramodulbediengerätes 300 entsprechende Kältefach 105 wird angezeigt. Während das Kameramodulbediengerät 300 außen über das Kältegerät 100 fährt, folgt der angezeigte Bildausschnitt der Position des Kameramodulbediengeräts 300. Auch wenn nur ein Kameramodul verwendet wird, kann ein Bildausschnitt verschoben werden. Im Inneren des Kältegerätes 100 findet hierbei eine gleichmäßige Beleuchtung aller Bereiche statt.
  • Die Komplexität einer Softwareentwicklung hängt im Allgemeinen mit den gewünschten Zusatzfunktionen zusammen, wie beispielsweise einer Bilderfassung, einer Bilderkennung, einer Produkterkennung (EAN-Code), einem Erkennen der Veränderungen in einem Bild, einer Produktdatenbank und einer Zuordnung der Produkte in den Bilddaten anhand der Erkennung.
  • Im Kältegerät 100 können lediglich die Kameramodule 101 und eine Schnittstelle (Interface) zum Kameramodulbediengerät 300 bereitgestellt sein. Die Steuerung der Kameramodule 101 und die Auswertung der Bilddaten erfolgt über das Kameramodulbediengerät 300. Daher ist im Kältegerät 100 eine minimale Steuerelektronik realisierbar. Ein Benutzer ist nicht an eine veraltete Hardware gebunden, sondern kann das Kameramodulbediengerät 300 beliebig auswechseln. Optional kann ein Türöffnungs- und -Schließsignal übermittelt werden, aufgrund dessen das Kameramodulbediengerät 300 die Kameramodule 101 steuert. Das Kameramodulbediengerät 300 kann die Bilddaten per WLAN senden und den Inhalt des Kältegerätes 100 anzeigen.
  • Beispielsweise werden die Bilddaten bei jedem Türschließen gewonnen, dann bereitgestellt oder an einen externen Speicherort übertragen und auf Anforderung dann sofort übermittelt. Eine Beleuchtung bleibt unmittelbar nach einem Türschließen noch für eine Zeit von 300–500 ms abrufbar. Dadurch wird der Vorteil erreicht, dass ein zuletzt geänderter aktueller Inhalt erfasst wird, ein geringer zusätzlicher Wärmeeintrag unmittelbar nach einem großen Wärmeeintrag erfolgt und eine Beleuchtung nur durch eine normale Innenbeleuchtung ermöglicht wird.
  • 16A bis 16C zeigt unterschiedliche Anbindungen von Kameramodulen 101.Die Integration von Kameramodulen 101 und der Steuerung kann auf verschiedene Weise erfolgen.
  • In 16A weist das Kameramodul 101 ein Steuerelement 155 und eine Kamera 157 als integrierte Einheit auf und ist an ein Netzwerk 161 angebunden. In 16B sind mehrere Kameramodule 101 mit den Steuerelementen 155 über eine integrierte Bildverarbeitungseinheit oder einen Verteilerknoten 125 an das Netzwerk 161 angebunden. In 16C ist ein Mehr-Kameramodul an das Netzwerk 161 angebunden. Das Mehr-Kameramodul kann mit einer integrierten oder separaten Bildverarbeitungseinheit 125 an das Netzwerk 161 angebunden sein. Das Mehr-Steuerelement 155 dient zur Steuerung mehrerer Kameras 157 des Mehr-Kameramoduls. Zusätzlich kann eine Schnittstelle zu einem GSM-Netz 163 vorgesehen sein. Die Kamera 157, die Steuerelemente 155, das Mehrsteuerelement 155, und die Bildverarbeitungseinheit 125 können physikalisch identische Einheiten sein, die unterschiedliche Aufgabe erledigen.
  • Die Steuerung der Kameramodule 101 kann durch einen Rechner im Kältegerät erfolgen oder separat von der Kältegerätsteuerung vorgesehen sein, beispielsweise auf dem Kameramodulbediengerät 300, wie einem Smartphone und mobilen Tablet PC. Das Kameramodulbediengerät 300 mit dem Bildschirm kann an der Tür 111 befestigt sein.
  • Das Kameramodulbediengerät 300 kann ein Programm oder eine Applikation (App) ausführen. Die zur Auswertung der Bilddaten und Steuerung der Kameramodule 101 dient. Beispielsweise dient die Applikation zur Frischebestimmung anhand der gewonnenen Bilddaten. Die Frische des Kühlgutes 103 kann von einer Reife des Kühlgutes 103 unterschieden werden.
  • Bei Produkten die "frieren" wird die Zellstruktur durch Kälteeinwirkung beeinflusst, wie beispielsweise Bananen, Tomaten, Gurken, Zucchini, Auberginen, Südfrüchte. Im Allgemeinen sind Gewicht, Geruch, Geschmack, Farbe, Textur, wie beispielsweise Furchen, Größe, Durchmesser oder Volumen erkennbar. Mittels der Textur kann beobachtet werden, ob ein Produkt noch knackig (crisp) ist. Eine Turgeszenz gibt an, wie stark die Zellen mit Wasser gefüllt sind und ist ein Maß für die Frische.
  • Eine Applikation zur Ermittlung der Frische erfasst die Informationen zu Produkten, wertet diese aus und stellt diese anderen Verarbeitungseinrichtungen bereit. Ein Basisdatum ist bei vielen Produkten das Mindesthaltbarkeitsdatum (MHD), welches mit dem Produkt verbunden ist und extern bereitgestellt wird.
  • Nicht verpackte Lebensmittel weisen kein mit dem Produkt verbundenes Mindesthaltbarkeitsdatum auf. zusätzlich kann ein alternatives Haltbarkeitsdatum verwendet werden, dass von dem Produkt, dem Einlagerungszeitpunkt, einer Kühlschrankeinstellung, einer Temperaturschichtung des speziellen Kältegerätes 100 und einer Luftfeuchte abhängt. In diesem Zusammenhang ist ein Ampelsystem möglich:
    Rot: nicht erfassbares Mindesthaltbarkeitsdatum
    Gelb: alternatives Haltbarkeitsdatum
    Grün: Mindesthaltbarkeitsdatum
  • Kühlgut wie beispielsweise Fleisch kann undurchsichtig verpackt sein, so dass der Zustand des Fleisches nicht beobachtbar ist. Die Verpackung kann jedoch definiert gelabelt sein und einen Barcode und ein Mindesthaltbarkeitsdatum aufweisen. Bei manchen Produkten besteht eine erhöhte Gesundheitsgefahr nach Ablauf des Mindesthaltbarkeitsdatums, wie beispielsweise bei Hackfleisch, Geflügelfleisch oder Fischprodukten. Bei diesen Produkten kann die Ampel angepasst werden. Zur Beurteilung, ob ein Produkt noch verwendbar ist, enthält die Produktspezifikation einen Wert, der eine verlustartspezifische Beurteilung zulässt.
    Lebensmittel Farbe Textur
    relativ absolut Gewicht Größe Form
    z.B. rot/braun
    Apfel + + + + +
    Salat + + (–) +
    Melone + + +
  • Die relative Farbbeurteilung kann mit einer Differenz zum Erstbild und einem Schattierungsgrenzwert beurteilt werden. Die Reifeerkennung erfolgt anhand der Farbschattierung.
  • Die Applikation kann Hinweise zur Lagerung im Kältegerät 100 anzeigen, wie beispielsweise
    „Dieses Lebensmittel sollte nicht im Kühlschrank aufbewahrt werden“
    „Hackfleisch auf oberer Etage! Hinweis: Nach unten/in kälterer Zone lagern“
    oder
    „Hinweis: Kühlschrank kälter einstellen oder Automatik-Funktion einstellen, geringerer Lagerverlust überkompensiert Stromkosten."
  • Einige Produkte weisen ein Farbumschlagetikett (Time Temperature Integrator – TTI) auf, der eine produktspezifische Aktivierung anzeigt. Die definierten Farben des Farbumschlagetikett sind sensorisch auslesbar. Durch eine Kopplung mit einem Lagerverwaltungssystem (Storage Guide) kann eine Ernährungsempfehlung generiert werden. Beim Befüllen des Kältegerätes 100 kann eine Inventarliste alle eingelagerten Gegenstände erstellt werden, indem diese an einem Kameramodul vorbeigezogen werden.
  • Zudem kann die Applikation die Langzeitveränderung im Zeitraffer abspielen. Bei einem virtueller Rundgang kann von der Applikation ein auf dem Kameramodulbediengerät 300 ein Abbild des Kältegeräteinhaltes angezeigt werden. Die Funktionen können eine Kombination aus Sprache und Barcode (EAN/QR), Bilderkennung und Bilddarstellung sein. Produkte können hinzugenommen werden. Es kann eine Synchronisierung mit einem Foto erfolgen und Einkaufslisten können generiert werden.
  • Zusätzlich kann das Kältegerät 100 derart ausgestaltet sein, dass ein Benutzer Bilddaten von einem Mobiltelefon aus anfordern kann, so dass auch an entfernt gelegenen Orten eine möglich Frischebeobachtung möglich wird. Hierzu kann eine GSM-Kamera mit MMS-Versand verwendet werden. Die Verbindung zwischen Kamera und Mobiltelefon erfolgt mittels der GSM-Infrastruktur. Mittels einer SMS kann ein Bild angefordert werden, das daraufhin als MMS-Bild übermittelt wird.
  • Ein Versand von Fotos und Videos kann zudem per E-Mail oder MMS mit einem Zeit- und Datumsstempel erfolgen. Ein Foto- oder Videoversand kann auf Abruf in regelmäßigen Intervallen erfolgen. Die Fotoauflösung der MMS beträgt beispielsweise 160×120, 320×240, 640×480 Pixel. Eine Aufzeichnung erfolgt im internen Speicher, wenn kein GSM Signal vorhanden ist. Eine Stromversorgung erfolgt per Akku, Netzteil oder USB-Anschluss. Die Steuerung kann direkt am Kältegerät 100, am einem Personal Computer oder per SMS vom Mobiltelefon aus durchgeführt werden.
  • Mittels des Mobiltelefons kann eine bequeme Fernbedienung per Android-App ermöglicht werden. Die GSM-Kamera kann über GSM per Anruf oder SMS aktiviert werden und unterstützt SMS-Befehle. Zusätzlich kann eine Stromausfall-Meldung abgegeben werden. Der Blickwinkel der Kamera beträgt 60° oder 90° mit aufsteckbarer Magnet-Weitwinkellinse, Zudem kann eine Blitz-Funktion implementiert sein.
  • Daneben kann eine UMTS/HSDPA-Kamera (WCDMA/TD-SCDMA) mit einer Fotoauflösung von 1,3 Megapixel verwendet werden. Die UMTS/HSDPA-Kamera weist eine Neige- und Schwenkfunktion und eine Nachtsichtfunktion auf. Ein UMTS-Video-Server ist getrennt zur Kamera angeordnet.
  • Zusätzlich kann eine RJ45-10/100M Ethernet-Interface mit der ohne WLAN vorgesehen sein. Netzwerkfähige Kameramodulbediengeräte 300 sind beispielsweise ein Laptop oder ein Fernseher. Dadurch kann eine Trennung zwischen Multimedia-Komponenten und Kältetechnik erzielt werden. Eine Multimediaschnittstelle kann eine Standard-Multimediaschnittstelle sein. Daneben können Glasfasern mit einem Objektiv an einem Ende verwendet werden. Mehrere Glasfasern sind mit demselben Farbsensor auslesbar.
  • Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung erläuterten und gezeigten Merkmale können in unterschiedlicher Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren.
  • Der Schutzbereich der vorliegenden Erfindung ist durch die Ansprüche gegeben und wird durch die in der Beschreibung erläuterten oder den Figuren gezeigten Merkmale nicht beschränkt.
  • Bezugszeichenliste
  • 100
    Kältegerät
    101
    Kameramodul
    101-1
    Kameramodul
    101-2
    Kameramodul
    102
    Beleuchtungseinrichtung
    103
    Kühlgut
    104
    Mikrocontroller
    105
    Kältefach
    107
    Lochkamera
    109
    Seitenwand
    111
    Tür
    113
    Fachdecke
    115
    Sensormatte
    117
    Fachboden
    119
    Prozessoreinrichtung
    121
    Datenbus
    123
    Scharnier
    125
    Verteilerknoten
    127
    Kamerafeld
    129
    Rückseite
    131
    Vorderseite
    133
    Platine
    135
    Lochblende
    137
    nicht sichtbarer Bereich
    139
    Sichtbereich
    141
    Verzeichnung
    143
    Verzeichnung
    145
    Schnittstelle
    147
    Bilddaten
    149
    Bilddaten
    151
    Subtraktion
    153
    Bildbereich
    155
    Steuerelement
    157
    Kamera
    161
    Netzwerk
    163
    GSM-Netz
    165
    Absteller
    167
    Türholm
    169
    Türgriff
    200
    Kältegerätesystem
    300
    Anzeigegerät/Kameramodulbediengerät
    303
    berührungsempfindliche Anzeige
    305
    Menüauswahl

Claims (15)

  1. Kältegerätesystem (200) dadurch gekennzeichnet, dass das Kältegerätesystem (200) ein Kältegerät (100) mit einem Kameramodul (101) zum Erfassen von Bilddaten eines Kühlgutes (103) in einem Kältefach (105) des Kältegerätes (100) und ein drahtloses Kameramodulbediengerät (300) zur Bedienung des Kameramoduls (101) umfasst.
  2. Kältegerätesystem (200) nach Anspruch 1, dadurch gekennzeichnet, dass das Kameramodulbediengerät (300) eine berührungsempfindlichen Anzeige (303) zum Steuern des Kameramoduls (101) und Anzeigen der erfassten Bilddaten umfasst.
  3. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kältegerät (100) mehrere Kameramodule (101) umfasst und das Kameramodulbediengerät (300) ein Mittel zum Auswählen eines Kameramoduls (101) umfasst.
  4. Kältegerätesystem (200) nach Anspruch 3, dadurch gekennzeichnet, dass die Kameramodule (101) zum Erzeugen einer Rundumsicht auf das Kühlgut (103) angeordnet sind und das Kameramodulbediengerät (300) ausgebildet ist, einen Betrachtungswinkel der Rundumsicht zu steuern.
  5. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kältegerät (100) ein erstes Kameramodul (101) zum Erfassen von ersten Bilddaten des Kühlgutes (103) aus einer ersten Perspektive und ein zweites Kameramodul (101) zum Erfassen von zweiten Bilddaten des Kühlgutes (103) aus einer zweiten Perspektive umfasst.
  6. Kältegerätesystem (200) nach Anspruch 5, dadurch gekennzeichnet, dass das erste Kameramodul (101) in einer Tür (111) des Kältegerätes (100) angeordnet ist und das zweite Kameramodul (101) in einer Fachdecke (113) angeordnet ist.
  7. Kältegerätesystem (200) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das Kameramodulbediengerät (300) ausgebildet ist, zwischen einem Anzeigen der ersten Perspektive und der zweiten Perspektive bei einem Kippen des Kameramodulbediengerätes (300) zu wechseln.
  8. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kältegerät (100) ein Kamerafeld (127) mit einer Mehrzahl von Kameramodulen (101) zum Erzeugen einer aus Einzelbildern zusammengesetzten Ansicht umfasst.
  9. Kältegerätesystem (200) nach Anspruch 8, dadurch gekennzeichnet, dass das Kamerafeld (127) in einer Tür (111) des Kältegerätes (100) angeordnet ist.
  10. Kältegerätesystem (200) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Kältegerät (100) eine Positionserfassungseinrichtung zum Erfassen einer Position des auf eine Außenseite des Kältegerätes (100) aufgelegten Kameramodulbediengerätes (300) umfasst.
  11. Kältegerätesystem (200) nach Anspruch 10, dadurch gekennzeichnet, dass das Kameramodulbediengerät (300) ausgebildet ist, einen der erfassten Position des Kameramodulbediengerätes (300) zugeordneten Bildbereich anzuzeigen.
  12. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kältegerät (100) eine Beleuchtungseinrichtung (102) zum Beleuchten des Kühlgutes (103) in dem Kältefach (105) umfasst.
  13. Kältegerätesystem (200) nach Anspruch 12, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung (102) durch das Kameramodulbediengerät (300) steuerbar ist.
  14. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kameramodulbediengerät (300) ausgebildet ist, die erfassten Bilddaten des Kühlgutes (103) mit gespeicherten Bilddaten des Kühlgutes (103) zu vergleichen.
  15. Kältegerätesystem (200) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kameramodulbediengerät (300) ausgebildet ist, das Kühlgut (103) anhand der erfassten Bilddaten zu identifizieren.
DE102013211096.0A 2013-06-14 2013-06-14 Kältegerätesystem Withdrawn DE102013211096A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102013211096.0A DE102013211096A1 (de) 2013-06-14 2013-06-14 Kältegerätesystem
EP14727838.6A EP3008413A1 (de) 2013-06-14 2014-06-04 Kältegerätesystem
US14/898,187 US20160138859A1 (en) 2013-06-14 2014-06-04 Refrigeration appliance system
CN201480033734.8A CN105358925A (zh) 2013-06-14 2014-06-04 制冷器具系统
PCT/EP2014/061613 WO2014198610A1 (de) 2013-06-14 2014-06-04 Kältegerätesystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013211096.0A DE102013211096A1 (de) 2013-06-14 2013-06-14 Kältegerätesystem

Publications (1)

Publication Number Publication Date
DE102013211096A1 true DE102013211096A1 (de) 2014-12-18

Family

ID=50884405

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013211096.0A Withdrawn DE102013211096A1 (de) 2013-06-14 2013-06-14 Kältegerätesystem

Country Status (5)

Country Link
US (1) US20160138859A1 (de)
EP (1) EP3008413A1 (de)
CN (1) CN105358925A (de)
DE (1) DE102013211096A1 (de)
WO (1) WO2014198610A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016202544A1 (de) * 2015-06-15 2016-12-22 BSH Hausgeräte GmbH Verfahren zum betreiben eines haushaltsgeräts sowie entsprechendes haushaltsgerät und system mit haushaltsgerät
WO2016202542A1 (de) * 2015-06-15 2016-12-22 BSH Hausgeräte GmbH Verfahren zum verarbeiten von daten eines haushaltsgeräts
WO2016110749A3 (en) * 2015-01-09 2017-06-22 Umm Al-Qura University Automatic monitoring system for assessing quality of food in a refrigerator
CN107631547A (zh) * 2017-09-15 2018-01-26 合肥华凌股份有限公司 食材种类判别方法及系统
WO2018099749A1 (de) * 2016-11-30 2018-06-07 BSH Hausgeräte GmbH Haushaltssystem und verfahren zum betrieb eines haushaltssystems
EP3819844A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung
EP3819843A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013211097A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
KR101858877B1 (ko) * 2013-08-28 2018-06-28 도시바 라이프스타일 가부시키가이샤 저장고용 카메라 장치 및 이를 구비한 저장고
US9888159B2 (en) * 2014-05-30 2018-02-06 International Business Machines Corporation Intelligent recycling container
JP6550696B2 (ja) * 2014-07-18 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 判定装置、および、判定方法
KR20160089725A (ko) * 2015-01-20 2016-07-28 엘지전자 주식회사 냉장고 및 그 제어 방법
US11030475B2 (en) 2015-07-08 2021-06-08 Zest Labs, Inc. Photo analytics calibration
DE102015213780A1 (de) * 2015-07-22 2017-01-26 BSH Hausgeräte GmbH Betreiben einer Kamera eines Haushaltsgeräts
US11156970B2 (en) 2015-08-05 2021-10-26 Whirlpool Corporation Foodstuff sensing appliance
CN107024433A (zh) * 2016-02-02 2017-08-08 苏州三星电子有限公司 一种检测冰箱内食物新鲜度的方法及系统
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
CN106091557B (zh) * 2016-06-24 2019-01-18 青岛海尔电冰箱有限公司 一种用于冰箱的摄像头的防雾控制方法
KR20180100636A (ko) * 2016-07-21 2018-09-11 미쓰비시덴키 가부시키가이샤 냉장고 시스템
US9965798B1 (en) 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
CN107477971B (zh) * 2017-08-04 2020-09-18 三星电子(中国)研发中心 一种对冰箱内食物的管理方法和设备
US9995528B1 (en) * 2017-10-12 2018-06-12 Whirlpool Corporation Refrigerator having a camera selectively enclosed by a rotating mullion assembly
CN108106321B (zh) * 2017-11-01 2019-11-05 青岛海尔股份有限公司 一种冰箱的控制方法
JP7092794B2 (ja) 2017-11-27 2022-06-28 三菱電機株式会社 冷蔵庫及び冷蔵庫システム
CN108151434B (zh) * 2017-12-15 2020-09-11 北京小米移动软件有限公司 食材保鲜的方法、系统、服务器、冰箱以及终端
CN108573387A (zh) * 2018-04-20 2018-09-25 开放智能机器(上海)有限公司 一种食品保质期的管理方法及系统
CN108462859A (zh) * 2018-05-04 2018-08-28 嘉兴雷纳森智能科技有限公司 一种分区成像系统、方法及储物柜
US20230123202A1 (en) 2020-03-18 2023-04-20 Vestel Elektronik Sanayi Ve Ticaret A.S. System for capturing and preferably processing images of a compartment of a refrigerator and refrigerator
US11122203B1 (en) 2020-05-26 2021-09-14 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for preventing lens fog
US20230057240A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Four camera system for a refrigerator appliance
US20230058922A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Appliance with collocated cameras
CN117517409A (zh) * 2022-07-27 2024-02-06 青岛海尔电冰箱有限公司 用于检测母乳新鲜度的方法及冷藏设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060096303A1 (en) * 2004-11-10 2006-05-11 Kavounas Gregory T Home refrigerator systems imaging their interior and methods
US20100283573A1 (en) * 2009-05-11 2010-11-11 Yum Kwanho Mobile terminal, operating method thereof, and refrigerator
DE102013206405A1 (de) * 2012-05-23 2013-11-28 BSH Bosch und Siemens Hausgeräte GmbH Haushaltsgerät mit einer Kameraeinheit

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317860A (ja) * 2000-05-09 2001-11-16 Matsushita Refrig Co Ltd 冷蔵庫の在庫管理装置
JP3738196B2 (ja) * 2001-03-30 2006-01-25 三洋電機株式会社 冷蔵庫
JP2003090673A (ja) * 2001-09-17 2003-03-28 Hitachi Electronics Service Co Ltd 冷蔵庫収納品画像表示システム
US20060174641A1 (en) * 2004-12-13 2006-08-10 Liu Chi W Refrigerator with a display module
US7673661B2 (en) * 2007-04-27 2010-03-09 Whirlpool Corporation Sensor system for a refrigerator dispenser
US20100170289A1 (en) * 2009-01-06 2010-07-08 Sony Corporation System and Method for Seamless Imaging of Appliance Interiors
US8756942B2 (en) * 2010-07-29 2014-06-24 Lg Electronics Inc. Refrigerator and method for controlling the same
KR101813030B1 (ko) * 2010-12-29 2017-12-28 엘지전자 주식회사 냉장고
CN102183120A (zh) * 2011-03-31 2011-09-14 四川长虹电器股份有限公司 基于视频技术的远程食品查询冰箱及其工作方法
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
KR101774054B1 (ko) * 2011-04-15 2017-09-12 엘지전자 주식회사 네트워크 시스템 및 그 제어방법
EP2995890B1 (de) * 2013-04-23 2023-10-04 LG Electronics Inc. Kühlschrank

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060096303A1 (en) * 2004-11-10 2006-05-11 Kavounas Gregory T Home refrigerator systems imaging their interior and methods
US20100283573A1 (en) * 2009-05-11 2010-11-11 Yum Kwanho Mobile terminal, operating method thereof, and refrigerator
DE102013206405A1 (de) * 2012-05-23 2013-11-28 BSH Bosch und Siemens Hausgeräte GmbH Haushaltsgerät mit einer Kameraeinheit

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110749A3 (en) * 2015-01-09 2017-06-22 Umm Al-Qura University Automatic monitoring system for assessing quality of food in a refrigerator
WO2016202544A1 (de) * 2015-06-15 2016-12-22 BSH Hausgeräte GmbH Verfahren zum betreiben eines haushaltsgeräts sowie entsprechendes haushaltsgerät und system mit haushaltsgerät
WO2016202542A1 (de) * 2015-06-15 2016-12-22 BSH Hausgeräte GmbH Verfahren zum verarbeiten von daten eines haushaltsgeräts
CN107735636A (zh) * 2015-06-15 2018-02-23 Bsh家用电器有限公司 用于操作家用器具的方法、相应的家用器具以及包括家用器具的系统
WO2018099749A1 (de) * 2016-11-30 2018-06-07 BSH Hausgeräte GmbH Haushaltssystem und verfahren zum betrieb eines haushaltssystems
CN107631547A (zh) * 2017-09-15 2018-01-26 合肥华凌股份有限公司 食材种类判别方法及系统
EP3819844A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung
EP3819843A1 (de) * 2019-11-06 2021-05-12 Miele & Cie. KG Haushaltslagervorrichtung

Also Published As

Publication number Publication date
WO2014198610A1 (de) 2014-12-18
CN105358925A (zh) 2016-02-24
US20160138859A1 (en) 2016-05-19
EP3008413A1 (de) 2016-04-20

Similar Documents

Publication Publication Date Title
EP3008414B1 (de) Kältegerät mit einem kameramodul
DE102013211096A1 (de) Kältegerätesystem
DE102013211099A1 (de) Kältegerät mit einem Kameramodul
DE102013211095A1 (de) Kältegerät mit einer Tür
DE212014000095U1 (de) Kühlschrank und Kühlschranksystem
CN105650998B (zh) 冰箱及其控制方法
WO2014198632A1 (de) Kältegerät mit einem kameramodul
DE112014001738T5 (de) Kühlschrank und Kühlschranksystem
DE102013216762B4 (de) Kältegerät mit einem Kameramodul
US20220284684A1 (en) Augmented reality feedback of inventory for an appliance
DE212014000100U1 (de) Kühlschrank
JP2016196981A (ja) 庫内管理システムおよび庫内管理方法
CN111386435A (zh) 冰箱及冰箱系统
JP2017040425A (ja) 冷蔵庫およびプログラム
DE102017223842A1 (de) Haushaltskältegerätevorrichtung
DE102014222111A1 (de) Kältegerät mit einem Kameramodul
CN113470250A (zh) 售卖柜、监控方法、服务器、系统及计算机可读存储介质
CN113824864A (zh) 食材存储设备及图像处理方法
DE102013216765B4 (de) Kältegerät mit einer Kältegerätetür
US20230058922A1 (en) Appliance with collocated cameras
WO2023162312A1 (ja) 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法
US20230308611A1 (en) Multi-camera vision system in a refrigerator appliance
US20240056555A1 (en) Adjustable camera assembly in a refrigerator appliance
WO2016091591A1 (de) Kältegerät
DE102014225444A1 (de) Kältegerät

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: BSH HAUSGERAETE GMBH, DE

Free format text: FORMER OWNER: BSH BOSCH UND SIEMENS HAUSGERAETE GMBH, 81739 MUENCHEN, DE

Effective date: 20150413

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee