DE102019203629A1

DE102019203629A1 - Speichern von mittels eines Haushaltsgeräts aufgenommenen Bildern

Info

Publication number: DE102019203629A1
Application number: DE102019203629.5A
Authority: DE
Inventors: Hans-Jürgen Bauer; Mike Karl; Bernhard Koch
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2020-09-24
Also published as: WO2020187830A1; EP3942232B1; PL3942232T3; EP3942232A1

Abstract

Ein Verfahren (S1-S6) dient zum Speichern von mittels einer Kamera (3) eines Haushaltsgeräts (1) in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern (S1, S2), wobei (a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Datenspeicher (5) mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden (S2, S3), und dann (b) wenn sämtliche Speicherplätze mit Bildern belegt sind (S4), von den in dem Datenspeicher gespeicherten Bildern diejenigen Bilder gelöscht werden (S6), deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht (S5), und folgend zu Schritt (a) zurückverzweigt wird (S2), wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt. Ein Haushaltsgerät weist einen Behandlungsraum (2), mindestens eine in den Behandlungsraum gerichtete Kamera und eine Datenverarbeitungseinrichtung (4) zur Durchführung des Verfahrens (S1-S6) auf. Die Erfindung ist insbesondere anwendbar auf eine Speicherung von während eines Garablaufs aus einem Garraum eines Gargeräts aufgenommenen Bildern.

Description

Die Erfindung betrifft ein Verfahren zum Speichern von mittels einer Kamera eines Haushaltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern, bei dem Bilder zusammen in einem Datenspeicher des Haushaltsgeräts mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden. Die Erfindung betrifft auch ein Verfahren, bei dem in einem Datenspeicher abgespeicherte Bilder chronologisch sequenziell abgespielt werden. Die Erfindung betrifft ferner ein Haushaltsgerät, aufweisend einen Behandlungsraum, mindestens eine in den Behandlungsraum gerichtete Kamera und eine Datenverarbeitungseinrichtung zur Durchführung des Verfahrens. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Speicherung von während eines Garablaufs aus einem Garraum eines Gargeräts, insbesondere Backofens, aufgenommenen Bildern.
Es sind Backöfen bekannt, die mit einer Kamera zur Überwachung ihres Ofen- oder Garraums ausgerüstet sind. Mittels der Kamera können Bilderfolgen von in dem Garraum befindlichem Gargut aufgenommen werden, beispielsweise, um während eines Garvorgangs einen Bräunungsfortschritt beobachten und auswerten zu können.
Dabei ist es aufgrund des häufig zeitlich ungleichmäßigen und auch nicht genau vorhersagbaren Verlaufs des Bräunungsvorgangs vorteilhaft, viele Bilder der Bilderfolge vorhalten zu können, beispielsweise zur visuellen Beurteilung durch einen Nutzer oder zur automatischen Bestimmung eines Bräunungsgrads. Andererseits benötigen Bilder typischerweise viel Speicherplatz, was kostenungünstig ist.
Zur Reduzierung eines benötigten Speicherplatzes für Bilder einer Bilderfolge ist es bekannt, die Bilder komprimiert zu speichern, z.B. im MOV-, MPEG-, MP4-, JPEG- usw. Format. Dabei ist jedoch nachteilig, dass zur Bildkompression und Bilddekompression eine hohe Rechenleistung benötigt wird, was wiederum Kosten erhöht, z.B. zum Vorsehen eines Grafikprozessors usw. Auch bleibt die Aufnahmefähigkeit eines Datenspeichers nachteiligerweise dennoch begrenzt, speziell bei lang andauernden Garvorgängen.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereitzustellen, Bilder einer von einem Haushaltsgerät, insbesondere Gargerät, speziell Backofen, erzeugten - insbesondere auch lang andauernden - Bildfolge oder Bildsequenz auf besonders speicherplatzsparende Weise abzuspeichern.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
Die Aufgabe wird gelöst durch ein Verfahren zum Speichern von mittels einer Kamera eines Haushaltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern („Bildfolge“), bei dem

a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Datenspeicher mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden, und dann
b) wenn sämtliche Speicherplätze mit Bildern belegt sind, von den in dem Datenspeicher gespeicherten Bildern diejenigen Bilder gelöscht werden, deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht, und folgend zu Schritt a) zurückverzweigt wird,

Durch dieses Verfahren wird der Vorteil erreicht, dass die Möglichkeit bereitgestellt wird, mit begrenztem („vorgegebenen“) Speicherplatz für eine praktisch unbegrenzte Dauer Bilder einer Bildfolge mit für Haushaltsgeräte relevantem Bildinhalt abzuspeichern, also eine praktisch unbegrenzte Aufnahmedauer zu erreichen. Dabei wird ausgenutzt, dass zu Beginn des Verfahrens bei gefülltem Datenspeicher Bilder gelöscht werden, die sich (entsprechend dem Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden. Der so freigewordene Speicherplatz wird mit neu aufgenommenen Bildern gefüllt, bis er wieder erschöpft ist. Dann werden erneut Bilder gelöscht, die sich (entsprechend dem neuen, typischerweise höheren Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden, usw. Mit jedem erneuten Durchlaufen der obigen Verfahrensschritte verbleiben somit Bilder, die zu einer immer längeren Bildfolge gehören, wobei die bildlichen Unterschiede zwischen aufeinanderfolgenden verbliebenen Bildern typischerweise immer größer werden. Während also zu Beginn des Verfahrens eine einen vergleichsweise kurzen Zeitraum betreffende Bildfolge in dem Datenspeicher gespeichert ist, deren Bilder sich in zeitlicher Abfolge in der Regel eher wenig unterscheiden, ist zu einem späteren Zeitpunkt eine einen längeren Zeitraum abdeckende Bildfolge mit gleicher Bildzahl in dem Datenspeicher gespeichert, deren Bilder sich in zeitlicher Abfolge in der Regel stärker unterscheiden. Folglich werden nur relevante Bilder gespeichert. Bilder, die kaum Änderungen zu ihren Vorgängern aufweisen, werden entfernt. Für die verbleibenden Bilder ergibt sich kein Qualitätsverlust durch Datenreduktion.
Ein weiterer Vorteil ist, dass sich das Verfahren einfach umsetzen lässt, insbesondere auch durch eine integrierte Schaltung mit geringer Rechenleistung wie einem Mikrocontroller, einen FPGA, einem ASIC, usw.
Die mittels der Kamera aufgenommenen Bilder können insbesondere mittels einer fest vorgegebenen Bildrate aufgenommen werden. Die Bildfolge der mittels der Kamera aufgenommenen Bilder kann als „Video Stream“ angesehen werden. Auch die in dem Datenspeicher abgespeicherte Bildfolge kann als Video Stream angesehen werden, wobei jedoch dann die zugehörigen Zeitabstände zweier zeitlich aufeinanderfolgender Bilder in der Regel nicht mehr konstant ist, sondern sich aus der Differenz ihrer Zeitstempel bzw. der in dem Zeitstempel vorhandenen Zeitinformation ergeben. Der Zeitstempel kann insbesondere den Aufnahmezeitpunkt des zugehörigen Bilds umfassen oder darstellen.
Das Haushaltsgerät kann ein Haushaltsgroßgerät oder ein Haushaltskleingerät sein, insbesondere im Sinne sog. weißer Ware. Das Haushaltsgroßgerät kann z.B. ein Wäschepflegegerät (wie eine Waschmaschine, Wäschetrockner, Waschtrockner, usw.) oder ein Küchengerät wie eine Geschirrspülmaschine, ein Kühlgerät oder ein Gargerät (z.B. ein Backofen, ein Kochfeld, ein Mikrowellengerät, ein Dampfbehandlungsgerät oder eine beliebige Kombination davon, usw.) sein.
Das Verfahren dient insbesondere zum Speichern der Bildfolge des Haushaltsgeräts während eines Betriebsablaufs des Haushaltsgeräts, z.B. während eines Garvorgangs, eines Spülvorgangs, eines Waschvorgangs, usw. von entsprechendem Gut wie Gargut, Wäsche, Geschirr, Kühlgut usw. Die Kamera kann dazu Bilder aus einem Behandlungsraum des Gargeräts (z.B. einem Garraum, einer Wäschetrommel, einem Kühlraum usw.) aufnehmen bzw. in einen solchen Behandlungsraum gerichtet sein. Die Kamera kann aber z.B. auch dazu eingerichtet (ausgestaltet und angeordnet) sein, Bilder von auf einem Kochfeld garendem Gargut aufnehmen und dazu z.B. in eine darüber angeordnete Dunstabzugshaube integriert sein. Der Betriebsablauf kann auch ein Ablauf sein, bei dem kein Gut behandelt wird, z.B. ein Reinigungsablauf usw. Der Betriebsablauf kann ein Betriebsprogramm des Haushaltsgeräts sein. Das Verfahren kann also rein beispielhaft ein Verfahren zum Speichern von während eines Garvorgangs mittels einer Kamera eines Gargeräts in zeitlicher Abfolge aus einem Garraum des Gargeräts aufgenommenen Bildern sein.
Die Kamera kann eine Schwarz/Weiß-Kamera oder - vorteilhafterweise - eine Farbkamera sein. Die Kamera kann alternativ oder zusätzlich eine IR-Kamera sein oder im IR-Bereich empfindlich sein. Die von der Kamera aufgenommenen Bilder sind insbesondere bildpunktartige Bilder mit grundsätzlich beliebigen Auflösungen.
Der Zeitstempel umfasst Information über den Zeitpunkt der Aufnahme des zugehörigen Bilds, beispielsweise als absoluten Zeitpunkt der Aufnahme und/oder als relative Zeitdauer seit Beginn der ersten Aufnahme bzw. seit Beginn des Verfahrens. Mittels des Zeitstempels kann insbesondere eine zeitliche Reihenfolge und ein zeitlicher Abstand zweier Bilder zueinander bestimmt werden.
Der Datenspeicher ist insbesondere ein in das Haushaltsgerät integrierter Datenspeicher.
Dass Bilder gelöscht werden, deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht, kann umfassen, dass alle Bilder aus dem Datenspeicher gelöscht werden, deren Bewertungszahl unterhalb des vorgegebenen Schwellwerts liegt. Analog können alle Bilder gelöscht werden deren Bewertungszahl den vorgegebenen Schwellwert erreicht, aber nicht überschreitet, wobei dieser Fall im Folgenden nicht weiter ausgeführt wird. Analog kann die Bewertungszahl auch so berechnet werden, dass sie umso geringer ist, je größer ein Bildunterschied ist. In diesem - inhaltlich analogen und deshalb nicht weiter beschriebenen - Fall können alle Bilder gelöscht werden, deren Bewertungszahl oberhalb des vorgegebenen Schwellwerts liegt. In anderen Worten werden insbesondere alle Bilder gelöscht, deren bildlicher Unterschied zu einem zuvor aufgenommenen Bild nicht ausreichend stark oder groß ist.
Dass die Bewertungszahl ein Maß für einen bildlichen Unterschied zwischen zwei Bildern darstellt, kann insbesondere umfassen, dass die Bewertungszahl umso höher ist, je höher deren bildlicher Unterschied ist. Der bildliche Unterschied kann sich auf eine Form von in den beiden Bildern abgebildeten Objekten und/oder auf deren Farbe beziehen. Zwei in Form und Farbe identische Bilder können insbesondere die niedrigste Bewertungszahl, beispielsweise null, aufweisen.
Nachdem nach einem Löschen von Bildern in Schritt b) zu Schritt a) zurückverzweigt worden ist, werden in Schritt a) zuvor freigewordene Speicherplätze durch neu aufgenommene Bilder aufgefüllt, bis erneut der Speicherplatz voll ist, usw.
Schritt b) kann auch als Anwendung eines „Reduzierungs-Algorithmus“ zur Löschung von Bildern mit geringster Relevanz verstanden werden. Unter Bildern mit geringster Relevanz oder irrelevanten Bildern können insbesondere Bilder verstanden werden, welche einen kleinen oder keinen Unterschied zu einem vorhergehenden Bild aufweisen.
Die in dem Datenspeicher gespeicherten Bilder können in einer Weiterbildung in grundsätzlich beliebiger Reihenfolge gespeichert sein, da ihr Zeitstempel eine eindeutige zeitliche Position oder chronologische Abfolge vorgibt. Alternativ können die Bilder in dem Datenspeicher bereits in zeitlicher Reihenfolge bzw. chronologisch geordnet gespeichert sein. Dazu können beispielsweise Bilder mit zu niedriger Bewertungszahl aus dem Speicher entfernt werden, die verbleibenden Bilder zusammengeschoben werden und neue Bilder an die frei gewordenen Plätze angehängt werden. Damit liegen die Bilder im Datenspeicher in der chronologisch korrekten Reihenfolge vor.
Es ist eine Weiterbildung, dass das Verfahren bis zum Ende eines Betriebsablaufs durchgeführt wird bzw. mit Beendigung eines Betriebsablaufs abgebrochen wird. Die bis dahin gespeicherte Bildfolge kann dann gelöscht oder für eine folgende Auswertung und/oder Ansicht gespeichert bleiben.
Es ist eine Ausgestaltung, dass Schritt b) bis zum Ende des Garvorgangs mit steigender Bewertungszahl wiederholt durchgeführt wird. So wird eine Löschung von Bildern in Schritt b) besonders zuverlässig sichergestellt.
Es ist eine Weiterbildung, dass die Bewertungszahl erhöht wird, wenn in Schritt b) bei gleichgebliebener Bewertungszahl keine Bilder oder keine ausreichende Zahl von Bildern gelöscht werden. Ist also in Schritt a) der Datenspeicher mit Bildern vollgelaufen, wird in Schritt b) zunächst versucht, Bilder mit der zuletzt verwendeten Bewertungszahl zu löschen. Stellt sich dabei heraus, dass dann keine Bilder oder eine nicht genügende Anzahl von Bildern gelöscht wird, wird die Bewertungszahl erhöht und dann Schritt b) erneut durchgeführt. Erst nach erneuter oder zweiter Durchführung von Schritt b) wird zurück zu Schritt a) verzweigt.
Es ist eine Weiterbildung, dass die Bewertungszahl mit jeder Durchführung von Schritt b) erhöht wird (zumindest solange die Bewertungszahl nicht für alle vorhandenen Bilder erneut berechnet wird, wie weiter unten genauer beschrieben wird). So wird vorteilhafterweise erreicht, dass typischerweise eine vergleichsweise hohe Zahl von Bildern gelöscht wird, so dass der Datenspeicher in Schritt a) nicht so schnell vollläuft. Dies hält zudem eine benötigte Rechenleistung gering.
Es ist eine Weiterbildung, dass eine Erhöhung der Bewertungszahl eine inkrementelle Erhöhung ist, also die Bewertungszahl bei einer Erhöhung um ihre geringste Schrittweite erhöht wird. Weisen die Bewertungszahlen beispielsweise jeweils einen Abstand Eins zu ihren nächsten Nachbarn auf, wird die Bewertungszahl insbesondere um den Wert Eins erhöht. Jedoch kann allgemein die Erhöhung oder Schrittweite der Bewertungszahl grundsätzlich frei gewählt werden, beispielsweise im Verlauf des Verfahrens auch variabel.
Es ist eine Ausgestaltung, dass in Schritt b) vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird.
Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Datenspeichers aus: $Bild_1 (BZ = 255) | Bild_2 (BZ=1) | Bild_3 (BZ=3) | Bild_4 (BZ=2) | Bild_5 (BZ = 6)$
Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft Bild_2, Bild_3 und Bild 4. In Schritt b) werden nun mit dem Löschen von Bild_2, Bild_3 und Bild_4 deren Bewertungszahlen BZ dem zeitlich nächsten Bild hinzuaddiert, das nicht gelöscht wird, nämlich Bild_5: $Bild_1 (BZ = 255) | - - - | - - - | - - - | Bild_5 (BZ = 10)$
Die freigewordenen Speicherplätze von Bild_2, Bild_3 und Bild_4 können in einem folgenden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Ausgestaltung, dass in Schritt b)

- vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird und
- diejenigen Bilder gelöscht werden, deren addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht.

Dadurch wird der Vorteil erreicht, dass die Bewertungszahl(en), die ja ein Maß für eine bildliche Abweichung zu einem davor aufgenommenen Bild darstellt bzw. darstellen, bei Löschen eines oder mehrerer Bilder nicht verloren gehen, sondern dem nächsten noch vorhandenen Bild zugeschlagen werden. Dadurch wiederum wird der bildliche Unterschied zu dem dann noch verbliebenen vorherigen Bild durch ein passendes Maß bzw. eine passende Bewertungszahl ausgedrückt.
Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Datenspeichers aus: $Bild_1 (BZ = 255) | Bild_2 (BZ=1) | Bild_3 (BZ=3) | Bild_4 (BZ=2) | Bild_5 (BZ = 6)$
Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft zunächst die Bilder Bild_2, Bild_3 und Bild_4. In Schritt b) werden nun die bei Übergang zu Schritt b) vorliegenden Bewertungszahlen BZ dieser Bilder dem zeitlich nächsten Bild hinzuaddiert: $Bild_1 (BZ = 255) | Bild_2 (BZ=1) | Bild_3 (BZ=4) | Bild_4 (BZ=5) | Bild_5 (BZ = 8)$
Nun werden alle Bilder, die immer noch eine Bewertungszahl BZ < 5 aufweisen, gelöscht: $Bild_1 (BZ = 255) | - - - | - - - | | Bild_4 (BZ=5) | Bild_5 (BZ=8)$
Die freigewordenen Speicherplätze von Bild_2 und Bild_3 können in einem folgenden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Ausgestaltung, dass in Schritt b)

- vor dem Löschen die Bewertungszahlen der Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, in zeitlich aufsteigender Reihenfolge dem zeitlich nächsten noch vorhandenen Bild kumulativ zuaddiert werden, bis die kumulativ addierte Bewertungszahl den Schwellwert erreicht und
- diejenigen Bilder gelöscht werden, deren kumulativ addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht.

Ein Beispiel für diese Ausgestaltung gehe wiederum von folgender Speicherbelegung des Datenspeichers aus: $Bild_1 (BZ = 255) | Bild_2 (BZ=1) | Bild_3 (BZ=3) | Bild_4 (BZ=2) | Bild_5 (BZ = 6)$
Es sei auch hier angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5.
Das in zeitlicher Reihenfolge erste Bild, das den Schwellwert nicht erreicht, ist Bild_2. Dieses wird folglich gelöscht, und seine Bewertungszahl BZ = 1 wird dem zeitlich nächsten Bild kumulativ zuaddiert bzw. zugeschlagen, hier also Bild_3: $Bild_1 (BZ = 5) | Bild_2 (BZ=1) | Bild_3 (BZ=4) | Bild_4 (BZ=2) | Bild_5 (BZ = 6)$
Bild_3 erreicht damit aber immer noch nicht den vorgegebenen Schwellwert, so dass folgend dessen bereits kumulativ addierte Bewertungszahl BZ = 4 dem nächsten Bild, nämlich Bild 4 zuaddiert wird: $Bild_1 (BZ = 5) | Bild_2 (BZ=1) | Bild_3 (BZ=4) | Bild_4 (BZ=6) | Bild_5 (BZ = 6)$
Die kumulativ addierte Bewertungszahl von Bild_4 liegt nun über dem Schwellwert, so dass Bild_4 folgend nicht gelöscht wird. Nach dem Löschen liegt daher folgende Speicherbelegung vor: $Bild_1 (BZ = 5) | - - - | - - - | | Bild_4 (BZ=6) | Bild_5 (BZ=6)$
Die freigewordenen Speicherplätze der Bilder Bild_2 und Bild_3 können in einem folgenden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Weiterbildung, dass die vor Schritt b) vorliegende Bewertungszahl eines Bilds, das nur durch kumulative Addition der Bewertungszahlen vorhergehender Bilder den Schwellwert erreicht (in dem vorherigen Beispiel Bild_4), dem folgenden Bild zuaddiert wird.
In dem vorhergehenden Beispiel würde dann nach dem Löschen folgende Speicherbelegung vorliegen: $Bild_1 (BZ = 5) | - - - | - - - | | Bild_4 (BZ=6) | Bild_5 (BZ=8)$
Es ist eine Ausgestaltung, dass die Bewertungszahlen aller nach einem Durchführen von Schritt b) noch verbliebenen oder gespeicherten Bilder neu berechnet werden. Dies ergibt eine besonders vorteilhafte Rückbehaltung aussagekräftiger Bilder. Das Neuberechnen kann insbesondere noch vor der Rückverzweigung zu Schritt a) durchgeführt werden.
Es ist eine Weiterbildung, dass der Neuberechnung der Bewertungszahlen in einem folgenden Schritt b) ein einfaches Löschen aller Bilder, welche den Schwellwert nicht erreichen, folgt. Dabei wird ausgenutzt, dass aufgrund der Neuberechnung der Bewertungszahlen deren folgende Addition nicht sinnvoll ist, zumindest wenn die Neuberechnung mit Schritt b) jedesmal erfolgt. Erfolgt die Neuberechnung jedoch nicht bei jedem Schritt b), kann eine Addition für die dazwischen durchgeführten Schritte b) sinnvoll sein.
Es ist eine Ausgestaltung, dass dem ersten Bild die höchste Bewertungszahl zugeordnet wird. So wird der Vorteil erreicht, dass das erste Bild immer in der Bildfolge verbleibt und zudem in Bezug auf seine Bewertungszahl definiert ist.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem arithmetischen Mittelwert der Unterschiede der Bildpunkte zu den entsprechenden Bildpunkten in dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig. Weist ein Bild also (m · n) Bildpunkte B (x, y) mit x [0; m-1] und y = [0; n-1] auf, werden Bildpunkte B (x, y) mit gleichem x und y bzw. deren Bildwerte insbesondere voneinander subtrahiert. Folgend werden die Differenzen der Bildwerte, insbesondere deren Beträge, arithmetisch gemittelt.
Die Bildwerte können beispielsweise Helligkeitswerte sein, z.B. Graustufenwerte oder einem jeweiligen Farbkanal zugehörige Farbhelligkeitswerte. Die Helligkeitswerte können z.B. in einem Wertebereich [0; 255] liegen. Sind einem Bildpunkt mehrere Bildwerte zugeordnet (beispielsweise Helligkeitswerte für drei Farbkanäle R, G und B), können zur Bestimmung der endgültigen Bewertungszahl die farbkanalabhängig bestimmten Mittelwerte selbst wieder gemittelt werden.
Die Bewertungszahl BZ für ein BildJ mit (m · n) Bildpunkten kann folglich ausgedrückt werden als: $B Z = \frac{\sum_{p = 1}^{k} \sum_{y = 0}^{n - 1} \sum_{x = 0}^{m - 1} | W p_{j} (x, y) - W p_{i} (x, y) |}{p \cdot m \cdot n}$
mit Wp_j einem Wert eines Kanals Kp eines bestimmten Bildpunkts mit der Koordinate (x, y). Beispielsweise kann ein Bildpunkt Bildpunktwerte Wp in drei Farbkanälen aufweisen, z.B. einen roten Farbwert W1_j in einem roten Farbkanal (p =1), einen grünen Farbwert W2_j in einem grünen Farbkanal (p =3) und einen blauen Farbwert W3_j in einem blauen Farbkanal (p =3). Jedoch ist die Erfindung nicht darauf beschränkt und kann z.B. auch mehr oder weniger Kanäle, insbesondere Farbkanäle aufweisen. So kann bei einem Graustufenbild auch nur ein Kanal vorhanden sein, wobei die Bildpunktwerte dann den entsprechenden Helligkeiten der Bildpunkte entsprechen.
Wpi ist ein entsprechender Wert für das zuletzt vor BildJ aufgenommene (dem „davor aufgenommenen Bild“) abgespeicherte Bild_i. Unter dem davor aufgenommenen Bild kann insbesondere ein Bild verstanden werden, dessen Zeitstempel den nächstfrüheren Zeitstempel zu dem Zeitstempel von BildJ aufweist. Dabei kann insbesondere zur Berechnung der Bewertungszahl von BildJ dasjenige im Datenspeicher gespeicherte Bild_i als Vergleich herangezogen werden, das den dazu zeitlich als nächstes davorliegenden Zeitstempel aufweist.
Wenn die Bildpunktwerte Wp in einem Wertebereich von z.B. [0; 255] liegen, liegt vorteilhafterweise auch die Bewertungszahl BZ in diesem Wertebereich. Ist BZ = 0, bedeutet dies insbesondere, dass die Bilder BildJ und Bild_i identisch sind. BZ = max (z.B. 255) bedeutet insbesondere, dass sich die Bilder BildJ und Bild_i stark unterscheiden. Die Bewertungszahl für ein Bild liegt also insbesondere im Wertebereich der Bildwerte der einzelnen Bildpunkte. Sie kann gerundet werden, z.B. auf einen ganzen Wert, insbesondere auf- oder abgerundet.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem linearen Korrelationskoeffizienten zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig. Die Bestimmung eines linearen Korrelationskoeffizienten zweier Bilder ist allgemein bekannt und wird deshalb hier nicht mehr ausgeführt.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem Unterschied fouriertransformierter Spektralwerte zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig. Es werden bei dieser Ausgestaltung insbesondere Ortsfrequenzen zweier Bilder verglichen und bewertet. Die Quantifizierung eines Unterschieds zweier Spektren, insbesondere Fourier-Spektren, ist allgemein bekannt und wird deshalb hier nicht weiter ausgeführt.
Es ist eine Weiterbildung, dass in Schritt b) die Bewertungszahl derjenigen Bildern, deren Bewertungszahl den vorgegebenen Schwellwert nicht erreicht, vor dem Löschen auf Null gesetzt wird und dann alle Bilder aus dem Datenspeicher gelöscht werden deren Bewertungszahl Null ist.
Es ist eine Ausgestaltung, dass die gespeicherten Bilder Rohbilder sind, also insbesondere nicht komprimiert sind. Dies ergibt den Vorteil eines besonders zuverlässigen und empfindlichen Bildvergleichs. Auch kann dann auf eine Bildverarbeitung verzichtet werden, was Rechenleistung spart. Die Rohbilder sind insbesondere Vollbilder. Sie umfassen insbesondere die Rohdaten der aufgenommenen Bilder.
Da die meisten mit Haushaltsgeräten verbundenen sichtbaren Vorgänge oder Veränderungen während eines Betriebsablaufs eher langsam voranschreiten, können die Bilder auch mit einer geringen Bildrate aufgenommen oder in dem Datenspeicher gespeichert werden, z.B. mit einer Bildrate von einem Bild pro Sekunde oder sogar noch geringer, z.B. einem Bild pro fünf, zehn, dreißig Sekunden, usw. Die Verwendung einer geringen Bildrate ist auch deshalb vorteilhaft, weil sich so bildliche Unterschiede zwischen zeitlich aufeinanderfolgend aufgenommenen Bildern besonders gut bestimmen lassen und die Bewertungszahl besonders aussagekräftig wird, speziell bei schleichenden Veränderung in einer Bildfolge. Auch lässt sich so der Rechenaufwand besonders gering halten.
Die Aufgabe wird auch gelöst durch ein Verfahren, bei dem mittels des Verfahrens wie oben beschrieben in einem Datenspeicher abgespeicherte Bilder chronologisch sequenziell (mit aufsteigendem Zeitstempel) abgespielt werden, z.B. im Sinne eines Video-Streams. Dadurch wird der Vorteil erreicht, dass eine auch über einen sehr langen Zeitraum aufgenommene Bildfolge nach Art eines Zeitraffers dargestellt werden kann (Zeitrafferdarstellung), wobei die Zeitabstände (Abstände zwischen den Zeitstempeln) zwischen den gespeicherten Bildern in der Regel unterschiedlich sind. Ein besonderer Vorteil ist, dass praktisch nur Bilder abgespielt sind, deren Abfolge besonders aussagekräftig ist, da sich aufeinanderfolgende Bilder vergleichsweise stark unterscheiden.
Es ist eine Weiterbildung, dass die Bildsequenz der gespeicherten Bilder auf einem Bildschirm dargestellt wird. So kann ein Nutzer vorteilhafterweise ein Ergebnis eines Betriebs eines Haushaltsgeräts verfolgen. Beispielsweise möchte ein Nutzer Gargut in einem Backofen garen, hat aber keine Zeit, den Garfortschritt dauernd zu beaufsichtigen: der Nutzer beschickt den Garraum zunächst mit dem Gargut und startet einen Garvorgang. Dann verlässt der Nutzer den Raum für einen längeren Zeitraum. Während des Garvorgangs werden Bilder aus dem Garraum und damit von dem Gargut wie oben beschrieben aufgenommen und gespeichert. Kommt der Nutzer nach seiner Abwesenheit wieder, kann er den Verlauf des Garfortschritts (z.B. einen Bräunungsfortschritt) durch Abspielen der gespeicherten Bilder in zeitlich aufsteigender und damit chronologisch richtiger Folge (insbesondere nach Art eines Zeitraffers) nachverfolgen.
Es ist eine Weiterbildung, dass in dem Datenspeicher gespeicherte Bilder mit chronologisch aufeinanderfolgendem Zeitstempel, die einen hohen Unterschied in ihren Bewertungszahlen aufweisen (der z.B. höher als ein zweiter Schwellwert ist) in einer abzuspielenden Bildfolge oder Videosequenz nicht direkt aufeinanderfolgend abgespielt werden, sondern durch ein oder mehrere berechnete Zwischenbilder voneinander getrennt. Die geräteseitig / automatisch berechnete Zwischenbilder sind durch Interpolation aus den beiden tatsächlich aufgenommenen Bildern generierte Bilder. Dies ermöglicht vorteilhafterweise einen sanfteren bildlichen Übergang zwischen zwei sehr unterschiedlichen Bildern.
Eine andere Anwendung der gespeicherten Bilder besteht darin, diese geräteseitig optisch auszuwerten, z.B. zur Erkennung eines Erreichens eines vorgegebenen End-Bräunungsgrads, der beispielsweise aus einem zeitlichen Verlauf des Bräunungsgrads bestimmbar, insbesondere vorhersagbar, sein kann. Das Haushaltsgerät kann beruhend auf dem Ergebnis der Auswertung automatisch eine Aktion auslösen, beispielweise einen Garvorgang beenden.
Das Abspielen der in dem Datenspeicher abgespeicherten Bilder kann also ein Darstellen der Bilder in einem Bildschirm und/oder deren Auswertung umfassen.
Die Aufgabe wird auch gelöst durch ein Haushaltsgerät, insbesondere Gargerät, aufweisend einen Behandlungsraum, insbesondere Garraum, mindestens eine in den Behandlungsraum gerichtete Kamera zur Aufnahme von Bildern für die Verfahren wie oben beschrieben und eine Datenverarbeitungseinrichtung zur Durchführung der Verfahrens wie oben beschrieben.
Es ist eine Weiterbildung, dass das Haushaltsgerät einen Bildschirm zum Abspielen einer gemäß dem obigen Verfahren erzeugten Bildfolge aufweist.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.

1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens, der dazu eingerichtet ist, das erfindungsgemäße Verfahren ablaufen zu lassen.

1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens 1 mit einem Garraum 2, in dem Gargut G untergebracht ist. Der Backofen 1 weist eine hier deckenseitig angeordnete Kamera 3, insbesondere Farbkamera, auf, die in den Garraum 2 gerichtet ist und von oben Bilder, die das Gargut G zeigen, aufnehmen kann.
Die Kamera 3 ist mit einer Datenverarbeitungseinrichtung 4 gekoppelt, welche einen Datenspeicher 5 aufweist. Die Datenverarbeitungseinrichtung 4 dient zur Verarbeitung der von der Kamera 3 aufgenommenen Bilder, insbesondere zu ihrer Speicherung in dem Datenspeicher 5 als Rohbilder, einer Berechnung einer Bewertungszahl und einer Zuordnung eines Zeitstempels zu jedem Bild. Die Zuordnung der Bewertungszahl und des Zeitstempels kann durch eine Speicherung in Tabellenform und entsprechende Verknüpfungen erfolgen. Die Bilder können insbesondere mit einer vergleichsweise geringen Bildrate erzeugt und/oder abgespeichert werden, z.B. kann ein Bild pro Sekunde in dem Datenspeicher 5 abgespeichert werden.
Die Datenverarbeitungseinrichtung 4 weist lediglich einen Mikrocontroller, FPGA, ASIC o.ä. zur Datenverarbeitung auf. Auch ist der Datenspeicher 5 klein dimensioniert.
Die Datenverarbeitungseinrichtung 4 ist zudem mit einem - z.B. berührungsempfindlichen - Bildschirm 6 des Backofens 1 verbunden. Die Datenverarbeitungseinrichtung 4 ist insbesondere dazu eingerichtet, die in dem Datenspeicher 5 gespeicherten Bilder in chronologischer Reihenfolge auf dem Bildschirm 6 anzuzeigen, z.B. als Video Stream.
Wie durch den gestrichelten Rahmen angedeutet, kann mittels der Datenverarbeitungseinrichtung 4 ein Verfahren zum Speichern von mittels der Kamera 3 in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern durchgeführt werden.
Dazu wird zu Beginn des Verfahrens in einem Schritt S1 ein erstes Bild aufgenommen und diesem eine höchste Bewertungszahl zugeordnet. Auch wird ein zugehöriger Zeitstempel erzeugt. Diese Daten werden in dem Datenspeicher 5 gespeichert, und zwar z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.
Folgend wird in Schritt S2 ein weiteres Bild aufgenommen und ein zugehöriger Zeitstempel erzeugt.
Dem weiteren Bild wird in Schritt S3 mittels der Datenverarbeitungseinrichtung 4 eine Bewertungszahl berechnet und zugeordnet, und zwar grundsätzlich beruhend auf einer beliebigen der wie weiter oben beschriebenen Berechnungsmethoden, oder auf eine noch andere Weise.
Auch diese Daten für das weitere Bild werden in dem Datenspeicher 5 gespeichert, und zwar auch hier z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.
In Schritt S4 wird überprüft, ob der Datenspeicher 5 voll oder bald voll sein wird. Falls nicht („N“), wird zu Schritt S2 zurückverzweigt.
Falls dies jedoch der Fall ist („J“), werden in Schritt S5 mittels der Datenverarbeitungseinrichtung 4 diejenigen in dem Datenspeicher 5 gespeicherten Bildern wie weiter oben beschrieben identifiziert, deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht.
In einem folgenden Schritt S6 werden diese Bilder, die den vorgegebenen Schwellwert nicht erreichen, aus dem Datenspeicher 5 gelöscht. Es wird dann zu Schritt S2 zurückverzweigt.
Das Verfahren kann abgebrochen werden, wenn eine bestimmt Bedingung erfüllt wird, z.B. ein Garparameter (wie eine Gardauer, ein Bräunungsgrad usw.) einen vorgegebenen Zielwert erreicht hat oder ein Nutzer den Vorgang aktiv beendet.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste

1: Backofen
2: Garraum
3: Kamera
4: Datenverarbeitungseinrichtung
5: Datenspeicher
6: Bildschirm
G: Gargut
S1-S6: Verfahrensschritte

Claims

Verfahren (S1-S6) zum Speichern von mittels einer Kamera (3) eines Haushaltsgeräts (1) in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern (S1, S2), bei dem a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Datenspeicher (5) mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden (S2, S3), und dann b) wenn sämtliche Speicherplätze mit Bildern belegt sind (S4), von den in dem Datenspeicher (5) gespeicherten Bildern diejenigen Bilder gelöscht werden (S6), deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht (S5), und folgend zu Schritt a) zurückverzweigt wird (S2), wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt.
Verfahren (S1-S6) nach Anspruch 1, bei dem Schritt b) bis zum Ende eines Betriebsablaufs mit steigender Bewertungszahl wiederholt durchgeführt wird (S5-S6).
Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem in Schritt b) - vor dem Löschen (S6) die Bewertungszahlen derjenigen Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten noch vorhandenen Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird (S5).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem in Schritt b) - vor dem Löschen die Bewertungszahlen derjenigen Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird (S5) und - diejenigen Bilder gelöscht werden, deren addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht (S6).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem in Schritt b) - vor dem Löschen die Bewertungszahlen der Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, in zeitlich aufsteigender Reihenfolge dem zeitlich nächsten noch vorhandenen Bild kumulativ zuaddiert werden, bis die kumulativ addierte Bewertungszahl den Schwellwert erreicht (S5) und - diejenigen Bilder gelöscht werden, deren kumulativ addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht (S6).
Verfahren (S1-S6) nach Anspruch 5, bei dem die vor Schritt b) vorliegende Bewertungszahl eines Bilds, das nur durch kumulative Addition der Bewertungszahlen vorhergehender Bilder den Schwellwert erreicht, dem folgenden Bild zuaddiert wird (S5).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem die den Bildern ursprünglich zugeordneten Bewertungszahlen unverändert bleiben (S5).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem die Bewertungszahlen aller nach einem Durchführen von Schritt b) noch verbliebenen Bilder neu berechnet werden (S3).
Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem dem ersten Bild die höchste Bewertungszahl zugeordnet wird (S1).
Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem die Bewertungszahl eines Bilds dem arithmetischen Mittelwert der Unterschiede der Bildpunkte zu einem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig (S3).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 9, bei dem die Bewertungszahl eines Bilds dem linearen Korrelationskoeffizienten zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig (S3).
Verfahren (S1-S6) nach einem der Ansprüche 1 bis 9, bei dem die Bewertungszahl eines Bilds dem Unterschied fouriertransformierter Spektralwerte zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig (S3).
Verfahren, bei dem mittels des Verfahrens (S1-S6) nach einem der vorhergehenden Ansprüche in einem Datenspeicher (5) abgespeicherte Bilder mit aufsteigendem Zeitstempel sequenziell abgespielt werden.
Haushaltsgerät (1), aufweisend einen Behandlungsraum (2), mindestens eine in den Behandlungsraum (2) gerichtete Kamera (3), einen Datenspeicher (5) und eine Datenverarbeitungseinrichtung (4) zur Durchführung des Verfahrens (S1-S6) nach einem der Ansprüche 1 bis 13.
Haushaltsgerät (1) nach Anspruch 14, aufweisend einen Bildschirm (6) zum Abspielen einer gemäß dem Verfahren nach Anspruch 13 erzeugten Bildfolge.