DE102021208447A1

DE102021208447A1 - Verfahren zum Überwachen von Gargut und Haushaltsgargerät

Info

Publication number: DE102021208447A1
Application number: DE102021208447.8A
Authority: DE
Inventors: Martin Graf; Mike Karl
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2021-08-04
Filing date: 2021-08-04
Publication date: 2023-02-09
Also published as: CN117769630A; WO2023011841A1

Abstract

Ein Verfahren (S1-S8) dient zum Überwachen eines in einem Garraum (3) eines Haushaltsgargeräts (1) befindlichen Garguts (G) während eines Betriebsablaufs, insbesondere Garablaufs, wobei anhand von mittels mindestens einer Kamera (6) aufgenommenen Folge von Bildern, bei dem mit Beginn des Betriebsablaufs automatisch Bildparameter der Kamera (2) eingestellt werden (S2) und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera (6) beibehalten werden (S3). Ein Haushaltsgargerät (1), ist dazu eingerichtet, das Verfahren (S1-S8) ablaufen zu lassen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Feststellung eines Bräunungsgrads bzw. Bräunungsfortschritts, insbesondere in einem Backofen.

Description

Die Erfindung betrifft ein Verfahren zum Überwachen von in einem Garraum eines Haushaltsgargeräts befindlichen Garguts während eines Betriebsablaufs, insbesondere Garablaufs, anhand von mittels einer Kamera aufgenommenen Folge von Bildern. Die Erfindung betrifft auch ein Haushaltsgargerät, das zur Durchführung des Verfahrens eingerichtet ist. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Feststellung eines Bräunungsgrads bzw. Bräunungsfortschritts, insbesondere in einem Backofen.
DE 10 2019 113 281 A1 offenbart ein Verfahren zur Belichtungsregelung in einem Gargerät mit einer integrierten Kamera, umfassend: Aufnehmen eines Startbilds mit einer vorgegebenen Grundbelichtungszeit; Segmentieren des Startbilds in Gargut-Flächenanteile und Nicht-Gargut-Flächenanteile; Erstellen einer Belichtungsmaske für die Gargut-Flächenanteile, welche die Nicht-Gargut-Flächenanteile ausblendet; Anpassen der Belichtungszeit unter Verwendung der Belichtungsmaske, so dass eine vorgegebene Zielhelligkeit der Gargut-Flächenanteile erreicht wird; und Aufnehmen eines Zielbilds mit der angepassten Belichtungszeit.
EP 3 608 593 A1 offenbart ein Kochsystem, aufweisend (a) einen Ofen mit einer Ofenkavität, der über eine Ofentür zugänglich ist; und (b) ein externes Rechenmittel; wobei der Ofen mit versehen ist (a1) mit mindestens einem optischen Sensor zum Aufnehmen von Bilddaten in der Ofenkavität; (a2) Mittel zum Erkennen des Schließens der Tür und zum Auslösen des optischen Sensors; (a3) Verarbeitungsmittel zur Durchführung einer grundlegenden Bildauswertung, um festzustellen, ob der Hohlraum nicht leer ist; (a4) Kommunikationsmittel zum Bereitstellen von Bilddaten an das externe Rechenmittel; wobei das externe Rechenmittel daran angepasst ist, eine Lebensmittelerkennungsroutine anhand der Bilddaten durchzuführen, die durch das Kommunikationsmittel bereitgestellt wurden; (b2) Auswahl von Garparametern basierend auf den ermittelten Lebensmittelparametern; und (b3) Übertragen der ausgewählten Garparameter an den Ofen.
DE 10 2016 215 550 A1 offenbart ein Verfahren zum Feststellen eines Bräunungsgrads von Gargut in einem Garraum eines Haushalts-Gargeräts, welches Haushalts-Gargerät eine in den Garraum gerichtete Kamera und eine Lichtquelle zum Beleuchten des Garraums aufweist, und wobei mittels der Kamera ein Referenzbild aufgenommen wird, ein erstes Messbild bei einer ersten Helligkeit der Lichtquelle aufgenommen wird, ein zweites Messbild bei einer zweiten Helligkeit der Lichtquelle aufgenommen wird, aus dem ersten Messbild und dem zweiten Messbild ein Differenzbild erzeugt wird und das Differenzbild mit dem Referenzbild verglichen wird.
EP 2 444 733 A2 offenbart einen Ofen, aufweisend einen Garraum, in dem Lebensmittel gegart werden; eine Wärmequelle, die die Lebensmittel in dem Garraum erwärmt; eine Lichtquelle, die einen inneren Teil des Garraums beleuchtet; einen Bildsensor, der den inneren Teil des Garraums und die Lebensmittel abtastet; einen Anzeigeteil, der ein Bild des vom Bildsensor gescannten Lebensmittels anzeigt; und ein Steuerteil, das ein durch Licht von der Lichtquelle verzerrtes Lebensmittelbild korrigiert, um das korrigierte Lebensmittelbild auf dem Anzeigeteil anzuzeigen.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine nutzerfreundliche Möglichkeit zur besonders zuverlässigen Feststellung eines Garfortschritts, insbesondere Bräunungsfortschritts, von Gargut während eines Garablaufs anhand von Bildfolgen bereitzustellen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zum Überwachen von in einem Garraum eines Haushaltsgargeräts befindlichen Garguts während eines Betriebsablaufs anhand von mittels einer Kamera aufgenommenen Folge von Bildern, bei dem mit Beginn des Garablaufs automatisch Bildparameter der Kamera eingestellt werden und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera beibehalten werden.
Dieses Verfahren ergibt durch das „Einfrieren“ der Bildparameter bzw. Bildparametereinstellungen der Kamera den Vorteil, dass das Gargut während des Garvorgangs das Gargut mit der gleichen Bilddynamik aufnimmt und daher sichergestellt ist, dass eine Änderung der Farbe und Helligkeit des Garguts in den aufgenommenen Bildern nur aufgrund einer tatsächlichen Änderung an der Oberfläche des Garguts erfolgt und nicht durch Bildparameteranpassungen der Kamera erzeugte Artefakte sind. Dies wiederum erhöht eine Genauigkeit und Zuverlässigkeit der Bestimmung des Garfortschritts.
Der Betriebsablauf kann ein, z.B. durch einen Nutzer oder ein Garprogramm, eingestellter Garablauf sein. Alternativ kann der Betriebsablauf ein Warmhaltebetrieb, ein Pyrolyseablauf, usw. sein. Im Folgenden wird sich auf einen Garablauf bezogen, wobei aber auch andere Betriebsabläufe mitgemeint sein können, falls anwendbar.
Dass die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses beibehalten werden, umfasst die Möglichkeit, dass mit Eintretens eines bestimmten Ereignisses die Bildparameter der Kamera neu eingestellt bzw. angepasst werden können, aber nicht vorgenommen zu werden brauchen. Dies ergibt den weiteren Vorteil, dass sich bei einer möglichen Änderung der Beleuchtungssituation aufgrund des Ereignisses der Dynamikbereich der Kamera automatisch daran anpassen lässt und danach ebenfalls wieder eingefroren wird. Dadurch wiederum können Änderungen der Farbe und Helligkeit des Garguts in den aufgenommenen Bildern nach einer geänderten Beleuchtungssituation besonders genau erfasst werden, was ebenfalls eine Genauigkeit und Zuverlässigkeit der Bestimmung des Garfortschritts erhöht.
Durch das Verfahren wird vorteilhafterweise auch vermieden, dass ein Nutzer zu Beginn eines Garvorgangs oder nach Eintritt des vorgegebenen Ereignisses Bildparameter selbst anzupassen braucht oder die Anpassung selbst zu initiieren braucht, was eine Nutzerzufriedenheit weiter erhöht.
Ein weitere Vorteil besteht darin, dass das Verfahren mittels einer günstigen Kamera und einfachen Auswertelogik zuverlässig umsetzbar ist. Eine aufwändige und teure Lösung mit einem hohen Dynamikumfang, wie er beispielsweise in DSLR-Kameras verwendet wird, ist nicht notwendig.
Das Verfahren beruht auf der Erkenntnis, dass dann, wenn eine Änderung der Helligkeit oder des Farbeindrucks von in einem Garraum befindlichen Gargut aufgrund geänderter Beleuchtungsbedingungen oder Farbänderungen des Garguts auftritt, sich eine Kamera bzw. ein Kamerasystem diesen neuen Beleuchtungsbedingungen typischerweise automatisch anpasst, z.B. durch Weiß- und Schwarzabgleich, Helligkeitsabgleich, Belichtungszeit und ggf. weitere Korrekturparameter. Dazu wertet die Kamera ständig aktuelle Bildausschnitte aus, um diese Bildparameter für eine folgende Bildaufnahme einzustellen bzw. anzupassen und dadurch die Bildaufnahme zu optimieren, z.B. im Hinblick auf einen möglichst gut ausgenutzten Dynamikumfang. Beispielsweise kann anhand des hellsten Bildausschnitts eine Anpassung der Belichtungszeit vorgenommen werden, so dass es zu keiner nennenswerten Überbelichtung des dann aufgenommenen Bilds kommt. Der Weißabgleich wird z.B. anhand eines Bildausschnitts bestimmt, der als nahezu weiß angesehen wird: wenn die Kamera einen solchen weißen Bereich findet, passt die Farbtemperatur an. Auch Schwarzwerte und weitere, insbesondere den Dynamikbereich beeinflussende, Bildparameter werden so automatisch an eine bestimmte Szene angepasst. Diese Anpassungen werden durchgeführt, weil der Dynamikbereich einer Kamera nicht beliebig groß ist und es daher zu einem Kompromiss aus mehreren, sich stark gegenseitig beeinflussenden Parametern und der Szene kommen muss. Werden Bilder eines fortlaufenden Garablaufs mit dieser herkömmlichen Methode aufgenommen, beruht jede Bildaufnahme auf individuell eingestellten bzw. nachgeregelten Bildparametern.
Das Verfahren beruht nun auf der weiteren Erkenntnis, dass bei einer Bildfolge für einen fortlaufenden Garablauf, wie sie beispielsweise für eine Detektion einer Gargutbräunung notwendig ist, automatische Anpassungen der Bildparameter für jedes aufgenommene Bild nachteilig sind, da dies die Bilddynamik der in einer Bildfolge aufgenommenen Bilder ändert und dadurch eine Beurteilung des Garfortschritts, insbesondere Bräunungsfortschritts, während des Garablaufs anhand der Bildfolge weniger zuverlässig wird.
Das Überwachen des Garfortschritts kann allgemein ein optisches Überwachen einer Oberfläche des Garguts auf einen Farbwechsel umfassen, z.B. nach (stärker) braun für einen Bräunungsfortschritts oder für den Fall von nicht oder nicht wesentlich bräunendem Gargut auf einen anderen Farbwechsel, z.B. von hellgrün zu dunkelgrün bei bestimmtem Gemüsen usw.
Es ist eine Weiterbildung, dass das Haushaltsgargerät ein Ofen mit einem Garraum ist oder einen Ofen aufweist, z.B. ein Herd. Das in dem Garraum befindliche Gargut kann durch Energieeintrag mittels Widerstandsheizkörper und/oder IR-Strahler (Backofen), Mikrowellen und/oder Dampf behandelt werden. Das Haushaltsgerät kann also auch ein Kombinationsgerät sein, z.B. ein Backofen/Mikrowellen-Kombinationsgerät, ein Backofen mit Dampfbehandlungsfunktion, usw.
Das Haushaltsgargerät kann ein oder mehrere in den Garraum gerichtete Kameras aufweisen. Mindestens eine Kamera kann in oder hinter einer Wandung des Garraums angeordnet sein. Eine Kamera entspricht in einer Weiterbildung einem Kamerasensor wie z.B. einen CCD-Sensor. Alternativ kann die Kamera auch weitere Komponenten wie eine - insbesondere automatisch einstellbare - Optik usw. umfassen.
Dass mit Beginn des Betriebsablaufs einen Dynamikumfang der Kamera beeinflussende Bildparameter der Kamera eingestellt werden, kann insbesondere umfassen, dass mit Start des Garablaufs (z.B. ausgelöst durch einen Nutzer oder ein Garprogramm) die Bildparametereinstellungen einmalig vorgenommen werden und folgend alle Bilder der Bildfolge mit den gleichen Bildparametern aufgenommen werden, bis ein vorgegebenes Ereignis eintritt. Die Bildparameter können auch als Bildaufnahmeparameter bezeichnet werden. Unter „mit Beginn“ kann „unmittelbar nach Beginn“ oder in kurzer Zeit (z.B. zwischen 1 und 30 s) nach Beginn des Betriebsablaufs verstanden werden.
Dass die anfänglich eingestellten Bildparameter bis zum Eintreten mindestens eines vorgegebenen Ereignisses beibehalten werden, kann auch den Fall umfassen, dass kein solches Ereignis eintritt. In diesem Fall werden die Bilder bis zur Beendigung des Garablaufs unter den gleichen anfänglichen Bildparametereinstellungen aufgenommen.
Die Bild(aufnahme)parameter können unter anderem eine Belichtungszeit, einen Weißabgleich, einen Schwarzabgleich, eine Verstärkung (Gain), eine Sättigung (Saturation), eine Farbtemperatur usw. umfassen. Die Bilder der Bildfolge können daher zumindest bis zum Eintreten eines vorgegebenen Ereignisses beispielsweise mit der gleichen Belichtungszeit und einem gleichen Ergebnis eines Weißabgleichs und/oder Schwarzabgleichs aufgenommen werden. Insbesondere umfassen die Bildparameter alle von einer Kamera automatisch einstellbaren oder eingestellten Bildparameter. Dem steht nicht entgegen, dass ein oder mehrere der Bildparameter auch manuell bzw. nutzerseitig einstellbar sind und/oder es andere Bildparameter gibt, die nur manuell einstellbar sind.
Es ist eine Ausgestaltung, dass anhand eines Vergleichs eines vor dem Ereignis aufgenommenen Bilds und eines nach dem Ereignis aufgenommenen Bilds überprüft wird, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, und

- falls dies nicht der Fall ist, weitere Bilder ohne erneute Einstellung der Bildparameter aufgenommen werden,
- falls sich die Bilder über das erste Maß, aber nicht das zweite Maß, hinaus geändert haben, folgend Bildparameter der Kamera einmalig erneut automatisch eingestellt werden und mit den neu eingestellten Bildparametern weitere Bilder aufgenommen werden, und
- falls sich die Bilder über das zweite Maß hinaus geändert haben, mindestens eine weitere Aktion durchgeführt wird.

Diese Ausgestaltung umfasst insbesondere, dass ein Bildvergleich von Bildern vor und nach dem Ereignis durchgeführt wird (z.B. eine pixelweise Abweichung bestimmt wird) und das Ergebnis des Vergleichs mit dem ersten und zweiten Maß verglichen wird. Das Ergebnis des Vergleichs kann z.B. ein von der Größe der Abweichung abhängiger Wert sein, während das erste Maß und das zweite Maß z.B. erste bzw. zweite Schwellwerte sein können.
Durch diese Ausgestaltung wird der Vorteil erreicht, dass überprüft werden kann, ob sich durch das Ereignis die Beleuchtungsverhältnisse und/oder eine optische Eigenschaft der Oberfläche des Garguts so weit geändert haben, dass die anfänglich eingestellten Bildparameter auch noch für die nach Beendigung des Ereignisses aufgenommenen Bilder passend sind oder nicht. Falls ja, brauchen die Bildparameter nicht geändert zu werden, was den Vorteil ergibt, dass sich die nach dem Ereignis aufgenommene Bildfolge praktisch nahtlos an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Dies kann z.B. vorteilhaft sein, wenn ein Garfortschritt aus dem Bildverlauf bestimmt wird.
Der zweite Fall ergibt den Vorteil, dass ein Dynamikbereich der Bilder verbessert werden kann und sich die nach dem Ereignis aufgenommene Bildfolge immer noch in praktisch sinnvoller Weise an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Analog zu der Einstellung der Bildparameter zu Beginn des Garablaufs werden insbesondere die erneut vorgenommenen Einstellungen für folgende Bilder beibehalten, bis der Garablauf beendet ist oder ein neues Ereignis eintritt, wobei mit Eintreten eines neuen Ereignisse die Bildparameter erneut einmalig automatisch eingestellt werden, usw. Das neue Ereignis kann ein anderes oder das gleiche Ereignis sein wie das vorherige Ereignis.
Der erste und der zweite Fall ermöglichen eine besonders zuverlässige Bestimmung des Garfortschritts.
Der dritte Fall berücksichtigt die Situation, dass sich das Gargut so stark verändert hat, dass die nach dem Ereignis aufgenommene Bildfolge sich nicht mehr sinnvoll an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Im letzteren Fall kann dann mindestens ein („weitere“) Aktion ausgelöst werden, z.B. das Verfahren abgebrochen werden oder das Verfahren neu gestartet werden. Erreichen des zweiten Maßes bedeutet, dass sich die Bildinhalte der Bilder stärker verändert haben als mit Erreichen des ersten Maßes.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine Türöffnung der Tür des Garraums (d.h., deren Öffnen und folgendes Schließen) umfasst, was z.B. durch einen Türöffnungssensor automatisch erkannt werden kann. Analog zu dem obigen ersten Fall können sich die Bilder durch die Türöffnung praktisch nicht verändert haben, z.B. wenn ein Nutzer die Tür nur für eine kurze Zeit öffnet, um das Gargut genauer zu betrachten oder es leicht anzustechen. Die Bildparameter der Kamera zur Bildaufnahme können dann beibehalten werden, da die Türöffnung in der Regel zu kurz ist, um eine Änderung des optischen Eindrucks der Oberfläche hervorzurufen.
Analog zu dem obigen zweiten Fall können sich die Bilder durch die Türöffnung geringfügig verändert haben, z.B. wenn ein Nutzer das Gargut bzw. den zugehörigen Gargutträger auf die nächsthöhere oder nächsttiefere Einschubebene bewegt, was die Beleuchtungsverhältnisse nur geringfügig ändert und/oder das Gargut geringfügig bewegt wird.
Der obige dritte Fall kann z.B. dann eintreten, wenn zwischen weiter auseinanderliegenden Gargutebenen gewechselt wird, z.B. von einer unteren Gargutebene zu einer höchsten Gargutebene, das Gargut umdreht oder umgerührt worden ist, das Gargut entnommen worden ist, Gargut hinzugefügt worden ist, das Gargut übergossen oder bedeckt worden ist, z.B. mit Milch oder Sauce, usw.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis einen übermäßigen Anstieg oder Abfall mindestens eines Messwerts mindestens eines nicht-bildgebenden Sensors umfasst. Dies kann so umgesetzt werden, dass das vorgegebene Ereignis als eingetreten angesehen wird, wenn mindestens ein Messwert (d.h., ein Messwert, eine Folge von Messwerten oder eine Ableitung davon) einen oberen Schwellwert erreicht oder überschreitet und/oder einen unteren Schwellwert erreicht oder unterschreitet. Unter einem nicht-bildgebenden Sensor kann insbesondere ein Sensor verstanden werden, der keine Kamera ist. Diese Ausgestaltung kann z.B. relevant sein, wenn sich in einer bestimmten Betriebsart (z.B. „Grill max“) die Oberfläche des Garguts sehr schnell verändert. Bei einem Wechsel der Betriebsart kann es dann zu einem Sprung eines Sensorsignals kommen, z.B. zu einem Sprung eines Sensorsignals eines Feuchtigkeitssensors, Sauerstoffsensors, usw.
Der mindestens eine nicht-bildgebenden Sensor kann beispielsweise mindestens einen Sensor aus der Gruppe

- Temperaturfühler zum Abfühlen einer Oberflächentemperatur des Garguts (z.B. ein IR-Sensor);
- Kerntemperaturfühler (auch als Bratenspieß bekannt);
- Feuchtigkeitssensor;
- Lambdasonde;
- Chemischer Sensor, z.B. zum Detektieren von bei einer Bräunung freigesetzten chemischen Stoffen;

Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine sprunghafte Änderung von Messwerten mindestens eines nicht-bildgebenden Sensors umfasst. Dies kann durch Auswerten einer Folge von Messwerten umgesetzt werden. Überschreitet beispielsweise die Änderung zweier aufeinanderfolgender Messwerte oder Messwertfolgen einen vorgegebenen Schwellwert, kann dies als ein Ereignis gewertet werden.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis ein Ablaufen einer vorgegebenen Zeitdauer umfasst, ggf. unter vorgegebenen Garparametern wie einer vorgegebenen Garraumtemperatur, Betriebsart usw. Die vorgegebene Zeitdauer kann in einer Weiterbildung eine rück- oder vorlaufende Timerzeitdauer sein, beispielsweise mit Erreichen einer gesetzten Geräteabschaltung. Ein mögliches Beispiel ist ein Starten eines Nachgarvorgangs. Alternativ oder zusätzlich kann die vorgegebene Zeitdauer ein Erreichen einer Sprungmarke in definierten Auto-Programmen und Backvorgängen umfassen.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine merkliche Änderung von Bildinhalten von mit der Kamera zeitlich hintereinander aufgenommenen Bildern umfasst. Das Auswerten der Bildinhalte kann einfache Berechnungen der Werte der Bildpunkte wie z.B. eine Mittelwertbildung und/oder eine Differenzanalyse wie z.B. weiter unten genauer beschrieben umfassen. Diese Ausgestaltung ergibt den Vorteil, dass optische Änderungen des Garguts besonders zeitnah und kontinuierlich oder quasi-kontinuierlich erfasst werden können. Das Auswerten der Bildinhalte kann sich auf das gesamte Bild oder auf mindestens einen Bildausschnitt beziehen, welcher bzw. welche das Gargut zeigen. Die für die Bildvergleiche verwendeten Bilder bzw. Bildausschnitte können aufeinanderfolgend aufgenommene Bilder oder in einem vorgegebenen Abstand (z.B. jedes dritte, vierte usw. Bild) Bilder umfassen. Der Sensor ist hier die Kamera selbst.
Es ist eine Ausgestaltung, dass zum Feststellen, ob sich die Bilder durch das Ereignis über das mindestens eine vorgegebene Maß hinaus geändert haben, eine Differenzanalyse durchgeführt wird und eine sich aus der Differenzanalyse ergebende Bewertungszahl mit dem ersten Maß und, falls dann noch notwendig, mit dem zweiten Maß verglichen wird. So wird eine rechentechnisch vergleichsweise einfache und schnelle Erkennung gewonnen, in welchem Maß sich die Bilder bzw. deren Bildinhalte verändert haben. Die Bilder umfassen mindestens ein vor dem Ereignis aufgenommenes Bild (insbesondere genau ein Bilds, speziell des letzten Bilds vor dem Ereignis) und mindestens ein nach dem Ereignis aufgenommenes Bild (insbesondere genau ein Bild, speziell das erste Bild nach dem Ereignis). Die Bewertungszahl stellt das Maß für eine Bildabweichung bzw. Bildänderung zwischen den verglichenen Bildern dar. Diese Differenzanalyse kann auch, wie bereits oben angedeutet, analog als Ereignis verwendet werden. Auf eine gesonderte Differenzanalyse zum Überprüfen, ob sich die Bilder durch das Ereignis über ein vorgegebenes Maß hinaus geändert haben, kann dann verzichtet werden.
Es ist eine Ausgestaltung, dass als Bewertungszahl ein Mittelwert von Differenzen entsprechender Bildpunktwerte mindestens eines Bildkanals der jeweiligen Bilder berechnet wird. Die Bildparameter der Kamera werden neu eingestellt bzw. angepasst, wenn die Bewertungszahl einen vorgegebenen Schwellwert erreicht oder überschreitet. Eine solche Differenzanalyse ist vorteilhafterweise besonders robust und zudem schnell durchführbar. Besonders vorteilhaft ist die Differenzanalyse unter Verwendung des letzten Bilds vor dem Ereignis und des ersten Bilds nach dem Ereignis.
Die Bildkanäle stellen die Kanäle oder Farbraumkoordinaten der ausgenommenen Bilder dar, z.B. die Farbraumkoordinaten bzw. Farbkanäle R, G und B für RGB-Bilder, die Farbraumkoordinaten H, S und V für HSV-Bilder usw.
Es ist eine besonders vorteilhafte Weiterbildung, dass der Mittelwert ein arithmetischer Mittelwert ist. Alternativ kann z.B. ein geometrischer Mittelwert, ein Medianwert usw. verwendet werden.
Es ist eine Weiterbildung, dass die Bewertungszahl in Form des Mittelwert für alle Bildkanäle berechnet wird. Der Mittelwert D kann dann beispielsweise für ein RGB-Bild mit einer Bildbreite W und einer Bildhöhe H, einem Rotwert R1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1, einem Grünwert G1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1, einem Blauwert B1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1, einem Rotwert R2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2, einem Grünwert G2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2 und einem Blauwert B2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2 gemäß $D = \frac{\sum_{x = 0}^{x = W - 1} \sum_{y = 0}^{y = H - 1} | R 1 (x, y) - R 2 (x, y) | + | G 1 (x, y) - G 2 (x, y) | + | B 1 (x, y) - B 2 (x, y) |}{3 \cdot W \cdot H}$
berechnet werden. D = 0 deutet, dass die beiden Bilder identisch sind, D = 255 bedeutet, dass sich die beiden Bilder stark unterscheiden. Erreicht oder überschreitet der Mittelwert D einen vorgegebenen Schwellwert Thr, d.h., dass D > Thr oder D ≥ Thr gilt, werden die Bildparameter für folgende Bildaufnahmen erneut eingestellt bzw. angepasst.
Die Farbwerte können z.B. zwischen 0 und 255 liegen, und dann liegt auch der Wert von D im Bereich von 0 bis 255.
Es ist eine zur Einsparung einer Rechenleistung oder einer schnelleren Berechnung des Mittelwerts D vorteilhafte Weiterbildung, dass D anhand nur eines Bildkanals berechnet wird.
Es ist eine Weiterbildung, dass der Mittelwert D für einen, mehrere oder alle Bildkanäle getrennt berechnet wird und die Bildparameter der Kamera neu eingestellt bzw. angepasst werden, wenn einer, mehrere oder alle Mittelwerte D einen zugehörigen ggf. auch unterschiedlichen, Schwellwert erreichen oder überschreiten.
Es ist eine Ausgestaltung, dass als Bewertungszahl ein Korrelationskoeffizient von Bildpunktwerten mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Korrelationskoeffizient mindestens einen Schwellwert erreicht oder überschreitet. Die Berechnung eines Korrelationskoeffizienten ist allgemein bekannt und wird daher nicht weiter ausgeführt. Es ist besonders vorteilhaft, wenn als Bewertungszahl ein linearer Korrelationskoeffizient berechnet wird. Jedoch können grundsätzlich auch nichtlineare Korrelationskoeffizienten als Bewertungszahl berechnet werden. Analog zu dem oben beschriebenen Mittelwert können auch die Korrelationskoeffizienten für einen, mehrere oder alle Bildkanäle getrennt berechnet und mit jeweiligen, ggf. auch unterschiedlichen, Schwellwerten verglichen werden.
Es ist eine Weiterbildung, dass die Bildparameter der Kamera anhand des gesamten aufgenommenen Bilds eingestellt werden, z.B. mittels Durchführung einer Differenzanalyse über alle Bildpunkte.
Es ist eine Ausgestaltung, dass die Bildparameter der Kamera anhand nur mindestens eines Bildausschnitts des aufgenommenen Bilds eingestellt werden, welches das Gargut abbildet. Dies ergibt den Vorteil, dass der Dynamikbereich der Kamera besonders effektiv an das Gargut angepasst und sich daher der Garfortschritt besonders zuverlässig überwachen lässt, da Teile des Bilds, welche das Gargut nicht zeigen und sich während eines Garvorgangs nicht oder nicht wie das Gargut ändern (z.B. ein Gargutträger oder eine Wandung des Garraums) nicht oder zumindest nicht so stark berücksichtigt werden. Dies kann z.B. so umgesetzt sein, dass die Differenzanalyse nur über die Bildpunkte des mindestens einen Bildausschnitts durchgeführt wird.
Mindestens ein Bildausschnitt kann voreingestellt sein, z.B. ein zentraler Bereich, der einen Rand des Bilds, das in der Regel einen Gargutträger oder eine Wandung des Garraums zeigt, auslässt.
Es ist eine Weiterbildung, dass mindestens ein Bildausschnitt durch Objekterkennung festgelegt wird. Dies ermöglicht vorteilhafterweise eine besonders gute Bildtrennung zwischen Gargut und Nichtgargut und damit eine besonders genaue und zuverlässige Bestimmung eines Garfortschritts. Bei dieser Weiterbildung kann z.B. in einem aufgenommenen Bild mindestens ein Bildausschnitt erkannt und festgelegt werden, welcher möglichst nur Gargut zeigt. Eine solche Objekterkennung auf Gargut ist grundsätzlich bekannt und wird daher nicht weiter ausgeführt.
Es ist eine Ausgestaltung, dass eine Objektanalyse zumindest in dem ersten (oder einem der ersten) der aufgenommenen Bildern durchgeführt wird und das Überprüfen, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, nur anhand von durch die Objektanalyse bestimmten Bildausschnitten durchgeführt wird. Es ist eine Weiterbildung, dass nur die durch Objektanalyse bestimmten Bildausschnitte zur Bestimmung eines Garfortschritts o.ä. verwendet werden.
Es ist eine - wie bereits oben für den dritten Fall angedeutete - Ausgestaltung, dass die mindestens eine weitere Aktion ein Durchführen einer Bildanalyse daraufhin umfasst, ob das Gargut

- umgestellt worden ist (z.B. durch Umsetzen zwischen weiter auseinanderliegenden Einschubebenen, Wenden und/oder Umrühren),
- verändert (z.B. Gargut hinzugefügt worden ist, das Gargut übergossen oder bedeckt worden ist, usw.),
- entnommen und/oder
- ausgetauscht

Es ist eine Ausgestaltung, dass die Bildanalyse eine Objekterkennung an einem vor dem Ereignis aufgenommenen Bild und eine Objekterkennung an einem nach dem Ereignis aufgenommenen Bild und einen folgenden Vergleich der Ergebnisse der Objekterkennungen umfasst. Dabei können auch Verfahren der Künstlichen Intelligenz usw. eingesetzt werden, um ein möglichst zuverlässiges Ergebnis zu erhalten. Das Verfahren ergibt den Vorteil, dass eine rechentechnisch aufwändige Bildanalyse nur durchgeführt wird, wenn zuvor mit rechentechnisch vergleichsweise einfachen Mitteln eine große Abweichung der Bildinhalte festgestellt worden ist.
Abhängig von dem sich ergeben habenden Ergebnis kann die noch eine weitere Aktion ein Neustarten des Verfahrens usw. umfassen. Das Neustarten kann ein automatisches Neustarten beruhend auf dem Ergebnis der Bildanalyse und dem nach dem Ereignis erkannten Objekt umfassen.
Die Aufgabe wird auch gelöst durch ein Haushaltsgargerät, das dazu eingerichtet ist, das obige Verfahren durchzuführen bzw. ablaufen zu lassen. Das Haushaltsgargerät kann analog zu dem ausgebildet werden und weist die gleichen Vorteile auf.
So ist es eine Ausgestaltung, dass das Haushaltsgargerät einen mittels einer Tür verschließbaren Garraum, mindestens eine in den Garraum gerichtete Kamera und eine Datenverarbeitungseinrichtung zum Auswerten der mittels der mindestens einen Kamera aufgenommenen Bilder auf einen Garfortschritt von in dem Garraum befindlichem Gargut aufweist.
Die Datenverarbeitungseinrichtung kann beispielsweise eine eigenständige Datenverarbeitungseinrichtung sein oder kann funktional in eine Steuereinheit des Haushaltsgargeräts integriert sein.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.

1 zeigt als Schnittdarstellung in Seitenansicht eine vereinfachte Skizze eines Haushaltsgargeräts; und
2 zeigt einen möglichen Ablauf des erfindungsgemäßen Verfahrens.

1 zeigt Schnittdarstellung in Seitenansicht eine Skizze eines Haushaltsgargeräts in Form eines Backofens 1 mit einem heizbaren Garraum 2, deren frontseitige Beschickungsöffnung durch eine Tür 3 verschließbar ist. Die verschlossene Tür lässt sich durch einen Türöffnungssensor 4, z.B. einen Mikroschalter, der mit einer Steuereinrichtung 5 verbunden ist, erkennen. Die Steuereinrichtung 5 ist außerdem mit einer in den Garraum 3 gerichteten Kamera 6 verbunden. Gargut G kann in verschiedenen Einschubebenen E1, E2, E3 im Garraum 3 angeordnet werden. In einem oberen Bereich des Garraums 3 vorhandene Beleuchtungsmittel (o. Abb.) dienen der Beleuchtung des Garraums 3 und des Garguts. Je höher die Einschubebene E1 bis E3 ist, desto stärker wird das Gargut G beleuchtet und erscheint damit umso heller. Auf welcher der Einschubebenen E1 bis E3 das Gargut G angeordnet ist (hier: auf Einschubebene E2), lässt sich durch Auswertung der von der Kamera 6 aufgenommenen Bilder automatisch feststellen.
Die Steuereinrichtung 5 ist vorliegend außer zur Steuerung eines Garablaufs auch dazu eingerichtet, das erfindungsgemäße Verfahren ablaufen zu lassen, das im Folgenden beispielhaft dazu verwendet wird, einen Garfortschritt, insbesondere einen Bräunungsgrad, des Garguts G festzustellen.
2 zeigt einen möglichen Ablauf des erfindungsgemäßen Verfahrens: In einem Schritt S1 wird der Garraum 3 mit dem Gargut G bestückt, werden Garparameter wie eine Garraumtemperatur, eine Heizart (z.B. Oberhitze, Heißluft usw.) usw. eingestellt, ggf. im Rahmen eines automatischen Garprogramms, wird die Tür 2 geschlossen und wird der Garablauf gestartet.
In einem Schritt S2 werden nun die Bild(aufnahme)parameter der Kamera 6 automatisch eingestellt.
In einem folgenden Schritt S3 wird überprüft, ob ein vorgegebenes Ereignis, hier: ein Türöffnungsvorgang (Tür 2 öffnen und wieder schließen) eingetreten ist. Ist dies nicht der Fall („N“), werden in einem Schritt S4 mit diesen Bildparametern, und also ohne deren automatische Anpassung an Bildänderungen, weitere Bilder des Garguts G aufgenommen und abgespeichert. Aus dieser Bildfolge wird auf grundsätzlich bekannte Weise der Garfortschritt, z.B. ein Fortschritt eines Bräunungsgrads, ermittelt. Wird ein gewünschter Ziel-Bräunungsgrad erreicht, wird an den Nutzer ein Hinweis ausgegeben und/oder der Garablauf beendet.
Falls jedoch ein Türöffnungsvorgang festgestellt wird („J“), wird danach in einem Schritt S5 ein weiteres Bild unter den gleichen Bildparametern wie vor dem Türöffnungsvorgang aufgenommen.
In einem folgenden Schritt S6 wird anhand dieses Bilds und des letzten vor dem Türöffnungsvorgang aufgenommenen Bilds eine Differenzanalyse durchgeführt. Liegt die sich daraus ergebende Bewertungszahl unterhalb eines ersten Schwellwerts Thr1 („J“), wird geschlossen, dass sich diese beiden Bilder - zumindest für den Zweck der Überwachung des Garfortschritts - praktisch nicht unterscheiden. In diesem (ersten) Fall wird, wie gezeigt, zurück zu Schritt S3 oder zu Schritt S4 zurückverzweigt und folgend Bilder mit den bereits zuvor in Schritt S2 festgelegten Bildparametern aufgenommen.
Liegt die Bewertungszahl oberhalb des ersten Schwellwerts Thr1 („N“), wird zu Schritt S7 verzweigt, in dem überprüft wird, ob die Bewertungszahl unterhalb eines zweiten Schwellwerts Thr2 liegt oder nicht. Ist dies der Fall („J“), wird geschlossen, dass sich diese beiden Bilder zwar für den Zweck der Überwachung des Garfortschritts etwas unterscheiden, aber dennoch das gleiche Gargut ohne Umsetzen, Wenden, Verändern usw. zeigen. Dies kann z.B. der Fall sein, wenn ein Nutzer das Gargut G auf eine die Gargutebene E3 verbracht hat. In diesem (zweiten) Fall wird zu Schritt S2 zurückverzweigt und die Bildparametern neu eingestellt. Folgende Bilder werden mit den neu eingestellten Bildparametern aufgenommen und an die Bildfolge vor der Türöffnung angeschlossen.
Liegt die Bewertungszahl oberhalb des zweiten Schwellwerts Thr2 („N“), wird geschlossen, dass die beiden Bilder nicht mehr das gleiche Gargut zeigen oder zwar das gleiche Gargut zeigen, aber dieses so verändert worden ist, dass sich eine Überwachung des Bräunungsfortschritts durch Zusammenlegung der Bildfolgen vor und nach dem Ereignisse nicht sinnvoll ist. Dies kann z.B. der Fall sein, wenn ein Nutzer das Gargut G gewendet, bedeckt entnommen oder ausgetauscht hat. In diesem (dritten) Fall wird in einem Schritt S8 mindestens eine weitere Aktion ausgelöst, z.B. die Überwachung des Bräunungsfortschritts neu gestartet, beispielsweise indem zurück Schritt S2 zurückverzweigt wird, ohne die Bildfolge an die vor der Türöffnung aufgenommene Bildfolge anzuschließen oder, wie gezeigt, das Verfahren abgebrochen wird.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste

1: Backofen
2: Garraum
3: Tür
4: Türöffnungssensor
5: Steuereinrichtung
6: Kamera
E1-E3: Einschubebenen
G: Gargut
S1-S8: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019113281 A1 [0002]
EP 3608593 A1 [0003]
DE 102016215550 A1 [0004]
EP 2444733 A2 [0005]

Claims

Verfahren (S1-S8) zum Überwachen eines in einem Garraum (3) eines Haushaltsgargeräts (1) befindlichen Garguts (G) während eines Betriebsablaufs, insbesondere Garablaufs, anhand von mittels mindestens einer Kamera (6) aufgenommenen Folge von Bildern, bei dem mit Beginn des Betriebsablaufs automatisch Bildparameter der Kamera (2) eingestellt werden (S2) und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera (6) beibehalten werden (S3).
Verfahren (S1-S8) nach Anspruch 1, bei dem anhand eines Vergleichs eines vor dem Ereignis aufgenommenen Bilds und eines nach dem Ereignis aufgenommenen Bilds überprüft wird, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben (S6, S7), und - falls dies nicht der Fall ist, weitere Bilder ohne erneute Einstellung der Bildparameter aufgenommen werden (S4), - falls sich die Bilder über das erste Maß, aber nicht das zweite Maß, hinaus geändert haben, folgend Bildparameter der Kamera einmalig erneut automatisch eingestellt werden (S2) und mit den neu eingestellten Bildparametern weitere Bilder aufgenommen werden (S4), und - falls sich die Bilder über das zweite Maß hinaus geändert haben, mindestens eine weitere Aktion durchgeführt wird (S8).
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine Türöffnung der Tür des Garraums (3) umfasst.
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis das vorgegebene Ereignis einen übermäßigen Anstieg oder Abfall mindestens eines Messwerts mindestens eines nicht-bildgebenden Sensors umfasst.
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine sprunghafte Änderung von Messwerten mindestens eines nicht-bildgebenden Sensors umfasst.
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis ein Ablaufen einer vorgegebenen Zeitdauer umfasst.
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine merkliche Änderung von Bildinhalten von mit der Kamera (6) zeitlich hintereinander aufgenommenen Bildern umfasst.
Verfahren (S1-S8) nach einem der Ansprüche 2 bis 7, bei dem zum Feststellen, ob sich die Bilder durch das Ereignis über das mindestens eine vorgegebene Maß hinaus geändert haben (S6, S7) eine Differenzanalyse durchgeführt wird und eine sich aus der Differenzanalyse ergebende Bewertungszahl mit dem ersten Maß (S5) und ggf. dem zweiten Maß (S6) verglichen wird.
Verfahren (S1-S8) nach Anspruch 8, bei dem als Bewertungszahl ein Mittelwert von Differenzen entsprechender Bildpunktwerte mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Mittelwert mindestens einen Schwellwert überschreitet.
Verfahren (S1-S8) nach Anspruch 8, bei dem als Bewertungszahl ein Korrelationskoeffizient von Bildpunktwerten mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Korrelationskoeffizient mindestens einen Schwellwert erreicht oder überschreitet.
Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem eine Objektanalyse zumindest in dem ersten der aufgenommenen Bildern durchgeführt wird und das Überprüfen, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, nur anhand von durch die Objektanalyse bestimmten Bildausschnitten durchgeführt wird.
Verfahren (S1-S8) nach einem der Ansprüche 2 bis 11, bei dem die mindestens eine weitere Aktion ein Durchführen einer Bildanalyse daraufhin umfasst, ob das Gargut - umgestellt, - verändert, - entnommen und/oder - ausgetauscht worden ist.
Verfahren (S1-S8) nach Anspruch 12, bei dem dann, wenn als Ergebnis der Bildanalyse festgestellt worden ist, dass das Gargut umgestellt, verändert, entnommen und/oder ausgetauscht worden ist, das Verfahren (S1-S8) neu begonnen wird.
Haushaltsgargerät (1), aufweisend einen mittels einer Tür (2) verschließbaren Garraum (3), mindestens eine in den Garraum (3) gerichtete Kamera (6) und eine Datenverarbeitungseinrichtung (5) zum Auswerten der mittels der mindestens einen Kamera (6) aufgenommenen Bilder auf einen Garfortschritt von in dem Garraum (3) befindlichem Gargut (G), wobei das Haushaltsgargerät (1) dazu eingerichtet ist, das Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche ablaufen zu lassen.