EP3770507A1

EP3770507A1 - Verfahren zum betreiben eines gargeräts und gargerät

Info

Publication number: EP3770507A1
Application number: EP20184905.6A
Authority: EP
Inventors: Ulrich Sillmen
Original assignee: Miele und Cie KG
Current assignee: Miele und Cie KG
Priority date: 2019-07-24
Filing date: 2020-07-09
Publication date: 2021-01-27
Also published as: DE102019120008B4; DE102019120008A1

Abstract

Verfahren zum Betreiben eines Gargeräts (1) mit einem Garbereich (11) zur Zubereitung von Gargut mittels einer Behandlungseinrichtung (2). Das Gargut wird im Garbereich (11) während des Garprozesses überwacht. Dazu werden mittels einer Kameraeinrichtung (3) über die Zeit Bilder der Gargutoberfläche erfasst. Die Bilder bestehen jeweils aus einer Vielzahl von Bildelementen und werden mittels wenigstens einer Verarbeitungseinrichtung (4) ausgewertet. Dabei wird wenigstens ein Maß für kürzerfristige Fluktuationen (5) eines Bildparameters um einen durch eine zunehmende Garung des Garguts bedingten längerfristigen Trend (6) bestimmt. Abhängig von dem Maß für die Fluktuationen (5) wird ein innerer Garzustand des Garguts abgeleitet.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Gargeräts mit wenigstens einem Garbereich und mit wenigstens einer Behandlungseinrichtung zur Zubereitung von Gargut in dem Garbereich. Zur Überwachung des Garguts im Garbereich während des Garprozesses werden mittels wenigstens einer Kameraeinrichtung über die Zeit Bilder wenigstens eines Teils der Gargutoberfläche erfasst.
Für ein optimales Garergebnis ist es in der Regel entscheidend, bestimmte Eigenschaften des Garguts zu berücksichtigen. Solche Informationen über das Gargut sind besonders wichtig für einen zuverlässigen Ablauf von Automatikprogrammen. Beispielsweise sollte für die Zubereitung unter Verwendung einer Automatikfunktion berücksichtigt werden, in welchem Gar- bzw. Backzustand sich das Lebensmittel befindet. Besonders komfortabel ist es, wenn bestimmte Eigenschaften des Garguts während des Garprozesses und zudem auch selbstständig vom Gargerät erfasst und berücksichtigt werden können.
Daher sind Gargeräte bekannt geworden, welche das Gargut mit einer Kamera überwachen. Allerdings ist der Gewinn von Informationen aus den aufgenommenen Bildern oft nicht zufriedenstellend. Beispielsweise unterliegen die Aufnahmen unter Garraumbedingungen sehr vielen Störeffekten, gegen die im Falle eines Gargerätes nicht ausreichend kalibriert bzw. abgegrenzt werden kann. Zudem kann aus den Bildern in der Regel nicht zuverlässig genug auf den inneren Garzustand geschlossen werden.
Es ist daher die Aufgabe der vorliegenden Erfindung, eine verbesserte Überwachung und Charakterisierung eines Garguts in einem Garraum während eines Garprozesses mit einer Kameraeinrichtung zu ermöglichen. Insbesondere soll die Überwachung besonders zuverlässig und vorzugsweise auch kostenoptimiert erfolgen.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein Gargerät mit den Merkmalen des Anspruchs 15. Bevorzugte Merkmale sind Gegenstand der Unteransprüche. Weitere Vorteile und Merkmale ergeben sich aus der allgemeinen Beschreibung der Erfindung und der Beschreibung der Ausführungsbeispiele.
Das erfindungsgemäße Verfahren dient zum Betreiben eines Gargeräts mit wenigstens einem Garbereich zur Zubereitung von Gargut mittels wenigstens einer Behandlungseinrichtung. Das Gargut wird im Garbereich während des Garprozesses überwacht. Dazu werden mittels wenigstens einer Kameraeinrichtung über die Zeit Bilder wenigstens eines Teils der Gargutoberfläche erfasst. Die Bilder bestehen insbesondere jeweils aus einer Vielzahl von Bildelementen. Die Bilder werden mittels wenigstens einer Verarbeitungseinrichtung ausgewertet. Dabei wird wenigstens ein Maß für kürzerfristige Fluktuationen wenigstens eines Bildparameters um wenigstens einen durch eine zunehmende Garung des Garguts bedingten längerfristigen Trend bestimmt. Abhängig von dem Maß für die Fluktuationen wird wenigstens ein innerer Garzustand des Garguts abgeleitet. Möglich und bevorzugt ist, dass abhängig von dem Maß für die Fluktuationen wenigstens eine andere Gargutkenngröße abgeleitet wird.
Das erfindungsgemäße Verfahren bietet viele Vorteile. Einen erheblichen Vorteil bietet die Betrachtung der kürzerfristigen Fluktuationen und die Bestimmung des inneren Garzustands aus dem Maß für die Fluktuationen. So kann aus Bildern der Oberfläche eine besonders zuverlässige und reproduzierbare Aussage über den Zustand im Inneren des Garguts gemacht werden. Da die Betrachtung der Oberfläche ausreichend ist, um Aussagen über das Innere des Garguts zu treffen, kann bei der Erfindung auf aufwendige und kostenintensive Kameratechnik bzw. Messtechnik verzichtet werden. Zudem ist das erfindungsgemäße Verfahren erheblich zuverlässiger und weniger störanfällig als zum Beispiel Verfahren, welche den Garzustand aus absoluten Messdaten und z. B. Farbveränderungen ableiten oder Schwellenwertkonzepte nutzen. Dadurch kann die Erfindung auch bei besonders vielen Arten von Lebensmitteln und Zubereitungsarten vorteilhaft eingesetzt werden.
Die Fluktuationen sind insbesondere durch Bewegungen im Inneren und/oder an der Oberfläche des Garguts bedingt. Die Fluktuationen betreffen insbesondere Bewegungen des Garguts bzw. von dessen Bestandteilen. Beispielsweise betreffen die Fluktuationen Teigbewegungen und insbesondere einen Teigaufgang oder eine Krustenbildung, z. B. ein Aufplatzen der Kruste, oder dergleichen. Vorzugsweise betreffen die Fluktuationen Bewegungen, welche durch eine zunehmende Bräunung und/oder Krustenbildung auftreten. Die Bewegungen können auch durch das Sieden von Flüssigkeiten im Inneren des Garguts und/oder durch deren Austreten aus dem Inneren des Garguts bedingt sein. Solche Bewegungen sind besonders charakteristisch für den inneren Garzustand.
Das Maß für die Fluktuationen beschreibt vorzugsweise ein zeitliches Auftreten von Extremwerten in einem zeitlichen Verlauf des Bildparameters. Insbesondere wird das Maß für die Fluktuationen aus einem zeitlichen Auftreten solcher Extremwerte bestimmt. Eine solche Ausgestaltung macht das erfindungsgemäße Verfahren besonders unempfindlich gegenüber Störungen. Vorzugsweise beschreibt der Trend einen insbesondere statistisch geglätteten zeitlichen Verlauf des Bildparameters oder wird aus einem solchen bestimmt. Das Maß für die Fluktuationen beschreibt insbesondere Fluktuationen um einen zeitlichen Mittelwert über die Garzeit. Die Fluktuationen können durch wenigstens ein statistisches Maß und beispielsweise eine Standardabweichung vom zeitlichen Verlauf des Trends beschrieben werden. Es ist möglich, dass die Fluktuationen durch Zuhilfenahme einer Fuzzy Logik und beispielsweise des Fuzzy Index und/oder des Fuji-Index und/oder eines Modells zum maschinellen Lernen (Künstliche Intelligenz) und/oder eines vergleichbaren Algorithmus berechnet werden.
Die Fluktuationen weisen insbesondere eine um ein Vielfaches größere Zahl an Vorzeichenwechseln auf als der Trend. Insbesondere weisen die Fluktuationen zufällige Vorzeichenwechsel auf. Das ermöglicht eine besonders zuverlässige und unaufwendige Identifizierung der Fluktuationen aus den Bilddaten. Die Fluktuationen sind insbesondere zufällig. Die Fluktuationen sind insbesondere Schwankungen mit unterschiedlichen Vorzeichen um den Trend. Die Fluktuationen weisen sowohl Schwankungen in Richtung des Trends als auch entgegen des Trends auf. Zum Beispiel werden bei einem Trend zu einer zunehmenden Bräunung Fluktuationen sowohl zu helleren als auch zu dunkleren Farbwerten betrachtet. Solche Wechsel sind besonders charakteristisch für innere Zustandsänderungen und treten beispielsweise durch Oberflächenbewegungen und dadurch bedingte Reflexionswinkeländerungen auf.
Insbesondere wird das Maß für die Fluktuationen für jeweils ein einzelnes Bildelement des Bildes bestimmt bzw. aus jeweils einem einzelnen Bildelement des Bildes berechnet. Dadurch sind die Fluktuationen besonders deutlich zu erkennen und gehen nicht in dem längerfristigen Trend unter. Möglich ist auch, dass das Maß für die Fluktuationen für jeweils wenigstens eine Gruppe von Bildelementen, beispielsweise Zeilen eines Bildsensors, bestimmt wird bzw. daraus berechnet wird. Insbesondere wird das Maß für die Fluktuationen für jeweils eine geringere Anzahl von Bildelementen als der Trend bestimmt. Insbesondere wird der Trend für das gesamte Bild oder wenigstens eine dem Gargut zugeordnete Fläche des Bildes bestimmt.
Zur Bestimmung des Maßes für die Fluktuationen werden vorzugsweise Veränderungen wenigstens eines Bildparameters zwischen wenigstens zwei zeitversetzten Bildern ausgewertet. Insbesondere weisen die Bilder einen Zeitversatz von nicht mehr als 5 Minuten und vorzugsweise von weniger als 1 Minute und besonders bevorzugt von weniger als 30 Sekunden auf. Dadurch sind die zufälligen Schwankungen bzw. Fluktuationen besonders zuverlässig zu erfassen. Für die Bestimmung des Trends bzw. für eine herkömmliche Auswertung von Bildern zur Erkennung von Garzustandsänderungen sind in der Regel erheblich weniger Bilder ausreichend, da es sich dabei um langfristige Änderungen handelt. Möglich ist auch, dass die Bilder einen Zeitversatz von weniger als 10 Sekunden oder weniger als 5 Sekunden aufweisen. Möglich ist auch ein Zeitversatz von maximal 1 Sekunde oder weniger. Insbesondere werden zeitlich aufeinanderfolgende Bilder ausgewertet.
Insbesondere werden zur Bestimmung des Maßes für die Fluktuationen die im Bild ortsgleichen Bildelemente von jeweils wenigstens zwei zeitversetzt aufgenommenen Bildern miteinander verglichen. Insbesondere erfolgt ein pixelweiser Vergleich der Bilder. Insbesondere sind die Bildelemente ortsgleich, welche von derselben Position eines Bildsensors der Kameraeinrichtung und beispielsweise vom gleichen Sensorpixel erfasst wurden. Möglich ist auch ein Vergleich von einer Mehrzahl und beispielsweise einer Zeile ortsgleicher Bildelemente aus wenigstens zwei zeitversetzten Bildern.
Der Trend ist vorzugsweise ein zeitlicher Verlauf eines Mittelwerts des wenigstens einen Bildparameter oder kann durch diesen abgebildet werden. Dabei ist der Trend insbesondere ein zeitlicher Verlauf über die Zeit des Garprozesses. Insbesondere ist ein zeitlicher Verlauf eines gleitenden Mittelwertes vorgesehen. Zur Beschreibung des Trends erfolgt insbesondere eine Mittelwertbildung über ein Zeitintervall. Möglich ist auch, dass der Trend ein zeitlicher Verlauf eines anderen geeigneten statistischen Wertes ist. Möglich und bevorzugt ist, dass der Trend durch wenigstens eine andere mathematische Methode zur Trendberechnung bestimmt wird. Beispielsweise erfolgt die Trendberechnung durch Fitten wenigstens einer Funktion insbesondere linear und/oder polynomisch. Die Trendberechnung kann auch die Bestimmung einer Regression im zeitlichen Verlauf des wenigstens einen Bildparameters umfassen.
In einer vorteilhaften Ausgestaltung ist der Trend eine zeitliche Farbwertveränderung, welche durch einen zunehmenden Garfortschritt und insbesondere durch einen zunehmenden Bräunungsprozess des Garguts bedingt ist. Die Fluktuationen entsprechen dabei vorzugsweise Farbwertänderungen und insbesondere zufälligen Farbwertänderungen um diesen Trend herum. Alternativ oder zusätzlich kann der Trend auch eine zeitliche Veränderung eines Helligkeitswerts und/oder Kontrastwertes und/oder Intensitätswertes oder eines anderen Wertes der Bildverarbeitung sein. Der Trend kann auch eine zeitliche Veränderung eines anderen Bildparameters sein, welche durch die zunehmende Garung des Garguts bedingt ist. Die Fluktuationen sind dann insbesondere zufällige Wertänderungen um einen solchen Trend herum.
In einer ebenfalls vorteilhaften Ausgestaltung ist der Trend eine zeitliche Abstandswertveränderung und/oder Temperaturwertveränderung, welche durch den zunehmenden Garfortschritt des Garguts bedingt ist. Die Fluktuationen entsprechen dabei insbesondere Abstandswertveränderungen und/oder Temperaturwertveränderungen um diesen Trend herum. Die Abstandswertveränderungen und/oder Temperaturwertveränderungen können zufällig sein. Zur Erfassung der Abstandswertveränderungen ist die Kamera insbesondere als eine Kamera zur Erfassung dreidimensionaler Objektinformationen ausgebildet, zum Beispiel als eine 3D-Kamera oder Stereokamera. Zur Erfassung von Temperaturwertveränderungen ist die Kameraeinrichtung insbesondere als eine Wärmebildkamera bzw. Infrarotkamera und/oder als ein Wärmestrahlungssensor oder dergleichen ausgebildet oder umfasst wenigstens einen solchen. Solche Temperaturänderungen und Abstandsänderungen beschreiben die Gargutbewegungen besonders charakteristisch und können daher besonders zuverlässig zu Erkennung von Fluktuationen herangezogen werden.
In allen Ausgestaltungen ist es besonders bevorzugt, dass wenigstens ein zeitlicher Verlauf des Bildparameters registriert wird. Vorzugsweise werden die Fluktuationen im zeitlichen Verlauf des Bildparameters rechnerisch von dem Trend im zeitlichen Verlauf des Bildparameters bereinigt und beispielsweise subtrahiert. So können die Fluktuationen isoliert vom Trend noch gezielter analysiert werden.
Es ist bevorzugt, dass ein innerer Garzustand mit einer mittleren Durchgarung und/oder ein Fertigzeitpunkt angenommen wird, wenn ein zeitlicher Verlauf des Maßes für die Fluktuationen nach einem Maximum wieder ein Minimum erreicht. Eine solche Bestimmung des inneren Garzustands wird insbesondere dann vorgenommen, wenn Teigwaren bzw. Backwaren als Gargut eingesetzt werden. Möglich ist aber auch die Verwendung bei der Zubereitung von Fleisch, Fisch, Gemüse und/oder Obst oder anderen Arten von Lebensmitteln. Zur Erkennung von Garzuständen zeitlich vor oder hinter der mittleren Durchgarung werden insbesondere zeitliche Ableitungen des zeitlichen Verlaufs des Maßes für die Fluktuationen herangezogen. Beispielsweise werden zur Erkennung von Garzuständen zeitlich vor oder hinter einer mittleren Durchgarung die Extremwerte und/oder Nulldurchgänge solcher Ableitungen betrachtet. Der innere Garzustand kann beispielsweise den Kernzustand bzw. einen Gargrad des Kerns betreffen und kann auch als Krumenzustand bzw. Gargrad der Krume bezeichnet werden. Der innere Garzustand kann eine mittlere innere Durchgarung und/oder wenigstens eine andere Kenngröße für den Garzustand im Inneren betreffen.
Es ist möglich, dass wenigstens ein Zeitraum hinterlegt ist oder bestimmt werden kann, in denen das Gargut nach Erreichen der mittleren Durchgarung noch weiter gegart wird. Beispielsweise ist ein solcher Zeitraum in einem Automatikprogramm hinterlegt. Es ist möglich, dass eine Zuordnung des Zeitraums zu einer Art des Garguts hinterlegt ist. So kann beispielsweise ein Braten nach Erreichen der mittleren Durchgarung noch einige Minuten weiter gegart werden, um eine optimale Zubereitung zu erzielen. Insbesondere werden durch Analyse der Fluktuationen die Teigbewegungen beobachtet und ihr Maximum beobachtet und anschließend abgewartet, bis die Bewegung wieder fast bei null ist. Nachdem die Fluktuationen durch die Teigbewegungen zum Stehen gekommen sind, kann der Garprozess beendet werden oder durch einen hinterlegten Zeitraum verlängert werden.
In einer vorteilhaften Weiterbildung erfolgt eine Ansteuerung der Behandlungseinrichtung abhängig von dem ermittelten inneren Garzustand. Möglich ist auch, dass abhängig von dem ermittelten inneren Garzustand wenigstens eine Anpassung eines Automatikprogramms vorgenommen wird. Beispielsweise kann eine im Automatikprogramm hinterlegte Garzeit verkürzt und/oder verlängert werden oder es werden Heizquellen zugeschaltet oder abgeschaltet. Es ist möglich, dass mittels der Behandlungseinrichtung bei Erreichen des Fertigzeitpunkts ein Schnellabkühlen und/oder Warmhalten erfolgt.
Der Bildparameter ist vorzugsweise aus der Gruppe der folgenden Bildparameter entnommen oder beschreibt wenigstens einen solchen: Farbwert, Grauwert, Helligkeitswert, Intensitätswert, Kontrastwert, Temperaturwert einer Wärmebildkamera, Abstandwert einer 3D-Kamera bzw. einer Kamera zur Erfassung dreidimensionaler Objektinformationen. Beispielsweise kann der Bildparameter ein Rotwert und/oder Grünwert und/oder Blauwert sein oder beschreibt wenigstens einen solchen. Möglich und bevorzugt ist auch, dass der Bildparameter wenigstens ein anderer Parameter der Bildverarbeitung ist oder einen solchen beschreibt. Der Bildparameter kann auch rechnerisch aus einem solchen Parameter hergeleitet sein.
Die Bildelemente stellen insbesondere ortsaufgelöste Bildinformationen aus dem Garbereich zur Verfügung. Die Kameraeinrichtung umfasst insbesondere eine Vielzahl von Sensorsegmenten. Dabei ist vorzugsweise mit jeweils wenigstens einem Sensorsegment jeweils wenigstens ein Bildelement aus dem Garbereich ortsaufgelöst erfassbar. Ein Bildelement ist insbesondere jeweils wenigstens einem Sensorsegment eines Bildsensors der Kameraeinrichtung zugeordnet bzw. in wenigstens einem Sensorsegment abbildbar. Im Rahmen der vorliegenden Erfindung können Bildelement und Pixel synonym verwendet werden. Es ist möglich, dass für die Bildelemente jeweils wenigstens ein Bildparameter ausgewertet wird.
Das erfindungsgemäße Gargerät ist dazu geeignet und ausgebildet, nach dem erfindungsgemäßen Verfahren betrieben zu werden. Insbesondere umfasst das Gargerät wenigstens einen verschließbaren und vorzugsweise auch beheizbaren Garraum. Insbesondere wird der Garbereich durch den Garraum bereitgestellt. Insbesondere umfasst das Gargerät die zuvor beschriebenen Komponenten zur Durchführung des erfindungsgemäßen Verfahrens. Vorzugsweise ist das erfindungsgemäße Verfahren so ausgebildet, dass das erfindungsgemäße Gargerät damit betrieben werden kann. Ein solches Gargerät bietet viele Vorteile und ermöglicht eine besonders komfortable und zugleich besonders zuverlässige automatisierte Zubereitung unterschiedlichster Lebensmittel.
Unter einem langfristigen Trend wird im Rahmen der vorliegenden Erfindung insbesondere ein Trend über die gesamte Garzeit verstanden. Unter kurzfristigen Fluktuationen werden insbesondere solche Fluktuationen verstanden, welche während eines Bruchteils und zum Beispiel eines Zehntels oder Hundertstels oder Tausendstel der Garzeit auftreten. Insbesondere weisen die Fluktuationen eine um ein Vielfaches größere Frequenz bzw. Änderungsrate auf, als der Trend.
Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus den Ausführungsbeispielen, welche im Folgenden mit Bezug auf die beiliegenden Figuren erläutert werden.
In den Figuren zeigen:

Figur 1: eine rein schematische Darstellung eines erfindungsgemäßen Gargerätes in einer Vorderansicht;
Figur 2: eine rein schematische Auftragung eines zeitlichen Verlaufs eines Farbwerts;
Figur 3: eine rein schematische Darstellung eines zeitlichen Verlaufs eines Trends;
Figur 4: eine rein schematische Darstellung eines zeitlichen Verlaufs von Fluktuationen; und
Figur 5: eine Auswertung des zeitlichen Verlaufs der Fluktuationen aus der Fig. 4.

Die Figur 1 zeigt ein als Backofen 100 bzw. Kombigerät ausgebildetes erfindungsgemäßes Gargerät 1. Als Garbereich 11 ist hier ein beheizbarer und durch eine Garraumtür 31 verschließbarer Garraum 21 vorgesehen. Das Gargerät 1 ist hier als ein Einbaugerät vorgesehen. Es kann auch als ein Standgerät ausgebildet sein. Das Gargerät 1 wird nach dem erfindungsgemäßen Verfahren betrieben.
Zur Zubereitung von Gargut ist eine Behandlungseinrichtung 2 vorgesehen, die in der hier dargestellten Ansicht nicht sichtbar im Garraum 21 bzw. hinter der Tür 31 angeordnet ist. Die Behandlungseinrichtung 2 umfasst z. B. eine thermische Heizeinrichtung mit mehreren Heizquellen zur Beheizung des Garraums 21. Als Heizquellen können beispielsweise eine Oberhitze, eine Unterhitze, eine Heißluftheizquelle und/oder eine Grillheizquelle vorgesehen sein. Das Gargerät 1 kann mit einer Dampfgarfunktion ausgestattet sein. Die Behandlungseinrichtung 2 kann einen Hochfrequenzerzeuger zum Aussenden von Hochfrequenzstrahlung in den Garraum 21 für die Zubereitung von Gargut aufweisen.
Das Gargerät 1 umfasst hier eine Steuereinrichtung 12 zur Steuerung bzw. Regelung von Gerätefunktionen und Betriebszuständen. Über die Steuereinrichtung 12 sind vorwählbare Betriebseinstellungen und vorzugsweise auch verschiedene Automatikprogramme bzw. Programmbetriebsarten und andere Automatikfunktionen ausführbar. Die Steuereinrichtung 12 steuert dazu die Behandlungseinrichtung 2 in Abhängigkeit eines vorgewählten Automatikprogramms entsprechend an.
Zur Bedienung des Gargerätes 1 ist eine Bedieneinrichtung 101 vorgesehen. Beispielsweise können darüber eine Betriebsart oder ein Automatikprogramm bzw. eine Programmbetriebsart oder andere Automatikfunktionen ausgewählt und eingestellt werden. Über die Bedieneinrichtung 101 können auch weitere Benutzereingaben vorgenommen werden und zum Beispiel eine Menüsteuerung vorgenommen werden. Die Bedieneinrichtung 101 umfasst auch eine Anzeigeeinrichtung 102, über die Benutzerhinweise und z. B. Eingabeaufforderungen angezeigt werden können. Die Bedieneinrichtung 101 kann Bedienelemente und/oder eine berührungsempfindliche Anzeigeeinrichtung 102 bzw. einen Touchscreen umfassen.
Das Gargerät 1 ist mit einer im Garraum 21 angeordneten Kameraeinrichtung 3 mit einem digitalen Bildsensor zur Erfassung von Bildinformationen eines im Garraum 21 befindlichen Lebensmittels ausgestattet. Der Bildsensor hat z. B. eine Auflösung von 10 oder 20 oder 50 oder mehr Megapixeln. Ein Pixel entspricht dabei einem Bildelement. Die Kameraeinrichtung 3 ist hier nicht sichtbar an einer Oberseite des Garraums 21 angeordnet. Der von der Kameraeinrichtung 3 erfasste Garbereich 11 kann aber auch auf einem Kochfeld oder auf einem Arbeitsbereich bzw. auf einer Arbeitsplatte liegen. Dann ist die Kameraeinrichtung 3 beispielsweise oberhalb des Kochfeldes bzw. der Arbeitsplatte angeordnet, beispielsweise an einem Oberschrank oder einer Dunstabzugshaube.
Die Kameraeinrichtung 3 wird dazu eingesetzt, das Gargut im Garraum 21 während des Garvorgangs zu überwachen. Dazu werden über die Zeit des Garvorgangs Bilder von der Gargutoberfläche erfasst. Die Bilder werden mittels einer Verarbeitungseinrichtung 4 ausgewertet, um den inneren Garzustand des Garguts zu bestimmen. Aus dem inneren Garzustand kann dann z. B. abgeleitet werden, wann das Gargut wie vom Benutzer gewünscht bzw. wie im Automatikprogramm vorgesehen durchgegart ist. Wenn der gewünschte Gargrad erreicht ist, wird der Garvorgang beendet und es kann ein Schnellabkühlen und/oder Warmhalten erfolgen.
Zur Bestimmung des inneren Garzustands wird ein Maß für kürzerfristige Fluktuationen eines Bildparameters und beispielsweise eines Farbwerts um einen längerfristigen Trend bestimmt. Der längerfristige Trend ist zum Beispiel ein zeitlicher Verlauf eines gleitenden Mittelwerts des Bildparameters. Aus dem Maß für die Fluktuationen wird dann der innere Garzustand bestimmt. So bietet die Erfindung eine Kernzustandserkennung anhand von Bildern der Oberfläche und ohne dass eine absolute Messung oder Kalibrierung notwendig wäre, denn es werden z. B. Extremwerte aus einer Kurvendiskussion zeitlich bestimmt.
Mit Bezug zu den Figuren 2 bis 5 wird nun eine beispielhafte Bestimmung des inneren Garzustands nach dem erfindungsgemäßen Verfahren beschrieben. Dazu ist in der Figur 2 ein Bildparameter, hier beispielhaft ein Farbwert 200, über die Zeit 201 aufgetragen. Der dünner eingezeichnete Verlauf entspricht hier den Rohdaten der gemessenen Farbwerte 200. Der Farbwert 200 wurde im Rahmen einer Bildanalyse aus den über die Zeit erfassten Bildern der Gargutoberfläche entnommen.
Anschließend wird aus den Rohdaten ein längerfristiger Trend und beispielsweise ein zeitlicher Verlauf eines gleitendenden Mittelwerts der Farbwerte 200 berechnet, welcher hier fett eingezeichnet ist. Der Farbwert 200 schwankt um den längerfristigen Trend. Durch die hohe Frequenz der der Bilderfassung sind hier kurzfristige Fluktuationen des Farbwerts 200 besonders gut zu erkennen.
In der Figur 3 ist eine zeitliche Auftragung des von den Fluktuationen bereinigten Trends 6 dargestellt. Der Trendverlauf der Farbwerte 200 gibt zum Beispiel eine hilfreiche Information über die Bräunung der Gargutoberfläche, sodass zusätzlich zum inneren Garzustand auch die Bräunung ermittelt werden kann.
Die Figur 4 zeigt eine isolierte Darstellung der Fluktuationen 5 über die Zeit 201. Dazu wird durch geeignete mathematische Operationen aus den Rohdaten die zeitliche Fluktuation der Messdaten von den Trendwerten (Bräunung, Abstand, Strahlungstemperatur oder andere) separiert. Beispielsweise erfolgt dies durch Subtraktion des Trends 6 von den Rohdaten.
In der Figur 5 ist ein Maß für die Fluktuationen 5 über die Zeit 201 dargestellt. Dazu wird zum Beispiel mit geeigneten mathematischen Verfahren die Stärke und/oder Geschwindigkeit der Oszillationen für die Fluktuationen für ein über die Zeitachse gleitendes Zeitintervall berechnet. Beispielsweise wird dazu die Standardabweichung der Fluktuation 5 in diesem Zeitintervall bestimmt.
Zudem ist hier der Zeitpunkt markiert, an dem das Maß für die Fluktuation 5 ein Maximum erreicht (hier mit 100 % bezeichnet). Dieser Zeitpunkt entspricht beispielsweise einem Maximum der Bewegung im Gargut und beispielsweise im Teig. Zu Beginn des Garprozesses ist die Fluktuation gering, weil die Teigbewegung noch nicht in Gang gekommen ist. Nach dem Maximum fällt die Fluktuation danach unter einen Bruchteil der Maximumsfluktuation (hier mit x % bezeichnet, beispielsweise 10 %). Dann ist das Gargut im Volumen bzw. im Kern mittel durchgebacken. Es ist möglich, dass eine für verschiedene Gargüter und Gargrade experimentell bestimmte Tabelle hinterlegt ist, sodass die Schwelle für x je nach Gargut und gewünschtem Gargrad optimal gesetzt kann. Es kann auch durch ein geeignetes mathematisches Verfahren bestimmt werden, wann die Fluktuation nach Erreichen ihres Maximums wieder nahe bei null ist. Dort ist das Volumen des Garguts dann mittel durchgebacken.
In einem nachfolgend beschriebenen, rein beispielhaften Verfahrensablauf erfasst die Kameraeinrichtung 3 hier zu jedem Messzeitpunkt t_j ein Kamerabild mit ihren m x n pixelweisen Rohdaten für die Farbwerte in m Zeilen und n Spalten. Alternativ zum Farbwert können auch andere Messdaten einer 2D-, 3D- oder IR-Kamera herangezogen werden. Es kann es sich also z. B. auch um Abstandswert (3D) oder Strahlungstemperatur (IR) handeln. Farbwert (2D) besteht in der Regel aus mehreren Informationen, wobei eine z. B. die Helligkeit oder Intensität ist. Nachfolgend werden nur eine oder mehrere der Farbwert Informationen verwendet. $(S_{mn} (t_{j})) = \begin{matrix} S_{11} (t_{j}) & S_{12} (t_{j}) & S_{13} (t_{j}) & \dots & S_{1 n} (t_{j}) \\ S_{21} (t_{j}) & S_{22} (t_{j}) & S_{23} (t_{j}) & \dots & S_{2 n} (t_{j}) \\ ... \\ S_{m 1} (t_{j}) & S_{m 2} (t_{j}) & S_{m 3} (t_{j}) & \dots & S_{mn} (t_{j}) \end{matrix}$
Die Indizes m und n beschreiben die Positionen der Farbwerte auf dem Bildsensor bzw. auf dem abgebildeten Objekt. t_j steht für die verschiedenen Messzeitpunkte innerhalb einer Messsequenz vom Start bis zum Ende der Sequenz. Über den Garvorgang erfolgen zu verschiedenen Zeiten τ Messsequenzen mit der internen Zeitskala von t₁ bis t_N. Es gibt auch den Spezialfall N=1. Dann besteht die Sequenz nur aus einer Messung. Es handelt sich dann um Einzelmessungen zu den Zeiten τ während des Garvorgangs. Zu jedem Zeitpunkt t_j einer Sequenz werden also m x n Farbwerte gemessen. Die Messwerte der Bildmatrix werden nun entsprechend weiterverarbeitet.
Zu jedem Zeitpunkt t_j werden über ein Zeitintervall [t_j - Δt, t_j] gleitende Mittelwerte für jeden Pixel Farbwert S_mn(t_j) für einen festen, (aber variablen) Ort m x n auf der Objektoberfläche berechnet. Δt liegt liegt typisch im Bereich von Sekunden oder wenigen Minuten. Die Mittelwerte sind also zeitliche Mittelwerte über das vor dem Messzeitpunkt t_j liegende Zeitintervall der Länge Δt, individuell für jeden Pixel Farbwert an einer der m x n räumlichen Positionen. Die über Δt zeitlich gemittelten Mittelwerte werden mit M_mn(t_j)|_Δt bezeichnet.
Der zeitliche Verlauf eines Mittelwertes für ein Pixel beschreibt den Trend des Farbwertes in diesem Pixel. Die Differenzen S_mn(t_j) - M_mn(t_j)_Δt| beschreiben die Streuung der Farbwerte im Pixel mn um ihren zeitlichen Mittelwert über das Intervall [t_j - Δt, t_j]. Bei sehr geringer Streuung der nicht gemittelten Farbwerte S_mn(t_j) um ihr zeitliches Mittel, sind die Differenzen sehr klein, bei starker Streuung entsprechend groß. Zu jedem Messzeitpunkt t_j gehört ein anderes davorliegendes Zeitintervall der Länge Δt und ein anderer dazugehöriger Mittelwert M_mn(t_j)|_Δ. Der zeitliche Verlauf des Mittelwertes kann in seiner verallgemeinerten Form Trend genannt werden. Der Trend entsteht in seiner allgemeinen Form nicht nur durch Mittelwertbildung über ein Zeitintervall. Es sind auch andere mathematische Methoden zur Trendberechnung möglich (z. B. Fit einer mathematischen Funktion linear, polynomisch usw.).
Mit Fluktuation ist in allen Fällen eine über die Zeit mögliche Änderung der Variablen in beide Richtungen z. B. von hell nach dunkel sowie von dunkel nach hell, von kleinem zum großen Abstand und wieder zurück, von hoher Oberflächentemperatur zu geringer und anders herum, alles im ständigen zeitigen Wechsel, alles überlagert von einem generellen Trend in Richtung brauner (dunkler, roter), höher (Aufgang Backwaren) oder flacher (Schrumpfung Fleisch) oder heißer (Oberflächentemperatur).
Die Differenz Smn-Mmn ist ein Maß für die zeitliche Fluktuation der Farbwerte Smn. Der Fluktuation liegt ein echter physikalischer Effekt zugrunde. Das ist bei Backwaren aus Teigen der Aufgang und die damit wälzende, quellende und Risse bildende Bewegung im Teig und in seiner Oberfläche. Durch die Veränderung der lokalen Geometrie an der Teigoberfläche verändern sich Auftreff- und Reflexionswinkel/-ort des Lichts von der Garraumbeleuchtung. Helle und Schattenbereiche werden durch die Teigbewegung verschoben. Auch ohne dass die Bräunung der Gargutoberfläche dabei zunehmen müsste, verändern sich dadurch Helligkeit und Farbwert in den Pixeln fluktuierend von hell nach dunkel und umgekehrt mit dem Ausmaß der Bewegung der Teigoberfläche.
Die Bewegung der Teigoberfläche ist auf der anderen Seite mit dem Garen des Teiges im Volumen verbunden. Zu Beginn des Backens ist der Teig noch kalt und die Bewegung an der Teigoberfläche ist sehr gering. Sie läuft dann auf ein Maximum zu und kommt zum Ende des Backens im Volumen wieder zum Stehen. Der Gargrad ist dann gerade mittel durchgebacken. Vorteilhaft ist es daher, die Teigbewegung zu beobachten, ihr Maximum abzuwarten und zu erkennen, wann die Bewegung wieder fast bei null ist.
Nach dem Zum-Stehen-Kommen der fluktuierenden Teigbewegung wird zusätzlich eine geringe Volumenschrumpfung beobachtet. D. h., das eher statistische Quellen der Teigoberfläche ist dann in ein Schrumpfen einer festen Oberflächenstruktur übergegangen. Die Schrumpfbewegung einer festen Kruste ist von einer statistischen Teigbewegung messtechnisch unterscheidbar. Zur Beschreibung der fluktuierenden Teigbewegung kann eines der mathematischen Standardverfahren verwendet werden. Ein erster Schritt dabei ist, die Farbwertveränderung durch den kontinuierlichen Bräunungsprozess (Trendlinie) und die Fluktuation der Farbwerte in den Pixeln des Garguts durch Teigbewegung und Veränderung der Oberflächengeometrie voneinander zu separieren (z. B. wie nachfolgend beschrieben).
Zum Beispiel ist beim Backen die Intensität der Bewegung im Teigvolumen und an seiner Oberfläche anfangs gering. Solange das Teigvolumen noch nicht durchgebacken ist, brodelt die Teigoberfläche langsam. Das führt zu lokalen Fluktuationen sowohl bei den pixelweisen Farbwerten(2D), Abständen (3D) als auch Strahlungstemperaturen (IR). Helligkeits- oder Farbwert Fluktuationen (in den Pixeln des Kamerabildes) aufgrund von wechselnder Reflexion des Garraumlichtes durch wechselnden Schattenwurf, durch eine sich ändernde Geometrie der Teigoberfläche während des Teigbackens im Volumen. Zum Start und zum Ende des Backens ist die Bewegung im Teig und an seiner Oberfläche sehr gering.
Eine Trennung von Trend und Fluktuation kann wie folgt durchgeführt werden: $(Smn) (t) - (Trendmn) (t)$
Trend mn(t) ist der Trend des Farbwertes Smn (t) für die Stelle mn der Bildmatrix, verlängert bis zum Messzeitpunkt t, ermittelt aus dem zeitlichen Verlauf des Farbwertes Smn (t) in der Vergangenheit, mit einem bekannten üblichen Verfahren. t ist der aktuelle Messzeitpunkt. Smn (t) ist der Farbwert in der Bildmatrix an der Stelle Zeile m (zwischen 1 und m) und Spalte n (zwischen 1 und n) zur aktuellen Messzeit. Trendmn (t) ist der zur Position mn zugehörige Trendwert, berechnet aus den Messwerten von Smn (t) über ein zurückliegendes und idR bis an t angrenzendes Zeitintervall.
Der Trend kann für jedes Pixel der Bildmatrix als Trend mn (t) berechnet werden. $(Smn) (t) - (Trendmn) (t)$
Es kann aber auch eine größere Pixelanzahl zum selben Zeitpunkt t verwendet werden, z. B. eine Zeile der Bildmatrix, um daraus den Trend zu berechnen. Dann schrumpft die Trendmatrix auf eine Spalte mit m Zeilen und fluktuiert weniger. Die Korrektur ist dafür nicht optimal auf Pixel mn abgestimmt. $(Smn) (t) - (Trendm) (t)$
Es kann auch alternativ die größere Pixelanzahl für die Trendberechnung dadurch erzeugt werden, dass eine Spalte der Bildmatrix zusammengefasst wird. Dann schrumpft die Trendmatrix auf eine Zeile mit n Spalten. $(Smn) (t) - (Trendn) (t)$
Noch extremer ist es, z. B. die ganze Bildmatrix zu einem Zeitpunkt zur Trendberechnung zu verwenden. Die Trendmatrix besteht dann nur aus einem Wert, der auf die Farbwerte aller Pixel anzuwenden ist. $(Smn) (t) - (Trend) (t)$
Trend mn(t) ist der Trend des Farbwertes Smn (t) für die Stelle mn der Bildmatrix, verlängert bis zum Messzeitpunkt t, ermittelt aus dem zeitlichen Verlauf des Farbwertes Smn (t) in der Vergangenheit.
Für eine pixelweise Trennung von Trend und Fluktuation wird Mittelwert des Pixelwertes an der Stelle mn über ein zurückliegendes, in k Schritten durchschrittenes Zeitintervall Δt bestimmt. $Mmn (t) : = Mittelwert (Smn (t - Δt), Smn (t - Δt + Δt / k), \dots, Smn (t - Δt + kΔt / k)$
t ist der aktuelle Messzeitpunkt. Smn (t) ist der Farbwert in der Bildmatrix an der Stelle Zeile m (zwischen 1 und m) und Spalte n (zwischen 1 und n) zur aktuellen Messzeit. Der Mittelwert ist der zu Position mn zugehörige Mittelwert über das vom Messzeitpunkt um Δt zurückliegende und an t angrenzende Zeitintervall.
Trendbereinigte Farbwert Matrix: $(Smn) (t) - (Mmn) (t)$
Möglich ist auch eine zeilenweise oder spaltenweise Trennung von Trend und Fluktuation. Dabei werden insbesondere die Zeilen bzw. Spalten der Bildelemente des Bildes bzw. des Bildsensors betrachtet. Ein kann auch ein globaler Mittelwert über die Farbwerte aller Pixel der Bildmatrix zum Zeitpunkt t als Trend zum Zeitpunkt t bestimmt werden. Dann erfolgt ein globales Bereinigen vom Trend zu jedem Zeitpunkt t erneut.
Zur Erfassung der Rohdaten (z. B. wie mit Bezug zu der Fig. 2 beschrieben) werden zu jedem Zeitpunkt t mn Farbwerte gemessen. Es wird in Zeitabständen Δτ gemessen (grobe Zeitskala). Die mn (gleichzeitig bestimmten) Farbwerte werden zur Auswertung auf der Zeitachse im Abstand Δτ/mn zwischen t und t + Δτ verteilt. Daran schließen die nächsten mn, bei t + Δτ gemessenen, Farbwerte in gleicher Weise an. Nach einem bekannten Verfahren wird dann aus den Rohdaten der Trend (t) isoliert und das Maß für die Fluktuationen bestimmt (wie mit Bezug zu den Fig. 3 bis 5 beschrieben).
Trend und Fluktuation können durch eine Filterung (z. B. Hoch-, Tief- oder Bandpass) separiert werden. Der Trend ändert sich nur langsam im Vergleich zur Fluktuation. Störungen, die im Vergleich zur Teigfluktuation sehr schnell sind, können ebenfalls herausgefiltert werden (Licht Ein-/Aus- Schalten, Schattenwurf durch Vor-die-Ofentür-Stellen usw). Ein ähnliches Verfahren ist die digitale Filterung, z. B. durch FFT (Fourier) der Farbwerte(t) in den Frequenz. B.ereich, Beschneidung auf das zulässige Band (für die Fluktuationen) und FFT ^-1.
Zu jedem Referenz Zeitpunkt to können mn Farbwerte gemessen werden, die die Referenz Farbwert Matrix bilden. Sie wird in (größeren) Zeitabständen der Länge Δτ jeweils neu gemessen. Gleichzeitig wird mit jeder Referenzmessung in einem davorliegenden Zeitintervall der Länge Δt eine Sequenz von Bildern aufgenommen. Wenn die Sequenz N Bilder enthält, ist der zeitliche Abstand der Bilder in der Sequenz gleich Δt/N.
Die Bilder der Sequenz werden, jedes einzeln, mit der Referenz verglichen. Autokorrelation, Kovarianz und Varianzen bestimmen die Ähnlichkeit der jeweils zwei Farbwert Matrizen. Aus dem zeitlichen Verlauf der Ähnlichkeit, wenn sich t von der Referenzzeit to entfernt, wird bewertet, wie viel Bewegung die Bilder einer jeden Sequenz enthalten. Die Bewertung einer Sequenz ist das Ergebnis der Autokorrelation, eine Zahl aus (0,1) für jedes der N Bilder der Sequenz. Als Funktion der Zeit ist sie ein Maß dafür, wie stark sich das Bild durch die Bewegung in der Teigoberfläche innerhalb der Sequenzdauer unähnlich wird. Der abfallende Verlauf kann mit einer Zeitkonstanten beschrieben werden.
Zu jeder aktuellen Zeit to können die Messwerte aus dem aktuellen Bild S_mn(t₀) pixelweise mit den Messwerten eines zeitlich davorliegenden Bildes S_mn(t) zum Zeitpunkt t multipliziert werden. Das ist ein paarweiser Vergleich zweier Bilder, in dem die Ähnlichkeit der zwei Bilder durch die mathematische Operation gemessen wird. t ist bei diskreten Messzeiten ein Element aus (t₁, t₂, ..., t_N). Die t sind Messzeitpunkte innerhalb einer Sequenz der Gesamtdauer Δt. In dem gezeigten Beispiel hat die Sequenz N Messzeitpunkte in Δt. t₁ ist zu t₀ benachbart. Je höher der Index j von t_j wird, umso weiter ist das Bild zur Referenz bei t₀.
Während einer Sequenz erfolgt die Bestimmung, wie schnell sich ein Bild mit zeitlich größer werdendem Abstand selbst unähnlicher wird, ein Maß für die Bewegung und Veränderung im Bild über die Dauer der Sequenz.Über einen Garvorgang wird in zeitlichen Abständen immer wieder eine neue Sequenz von Gargutbildern gemessen und ausgewertet, um zu beobachten, wie die Geschwindigkeit der Veränderung der Teigoberfläche über die Gardauer variiert (gering -> hoch -> gering = mittel durchgebacken). $\begin{array}{l} t_{0} = t_{0} - 0 Δt / N = t_{0} \\ t_{1} = t_{0} - 1 Δt / N \\ t_{2} = t_{0} - 2 Δt / N \\ , \dots, \\ t_{N} = t_{0} - NΔt / N = t_{0} - Δt \end{array}$
Alle Pixel Messwerte aus dem aktuellen Bild S_mn(t₀) zur aktuellen Referenzzeit t₀ werden mit den entsprechenden Pixel Messwerten eines zeitlich davorliegenden Bildes S_mn(t) zum Zeitpunkt t multipliziert. Alle so gebildeten Produkte werden addiert.
Die Summe wird auf die Wurzel aus dem Produkt der Varianz der Messwerte zur Zeit t und der Varianz der Messwerte zur Zeit t₀ normiert.
Die dahinterliegende mathematische Operation heißt Autokorrelation Cor [ (S_mn(t₀)) , (S_mn(t)) ] .
Sie ist die Kovarianz Cov [(S_mn(t₀)), (S_mn(t))] von den Bildmatrizen (S_mn(t₀)) und (Smn(t)), bezogen auf das Produkt der Standardabweichungen über alle Elemente von (S_mn(t₀)) und getrennt davon über alle Elemente von (S_mn(t)) . $Cor [(S_{mn} (t_{0})), (S_{mn} (t))] = Cov [(S_{mn} (t_{0})), (S_{mn} (t))] / [σ ((S_{mn} (t_{0}))) * σ ((S_{mn} (t)))] .$
Die Autokorrelation wird in der Literatur häufig auch als g₂(t) bezeichnet. t ist dabei die Zeit auf einer Skala innerhalb der Sequenz und beschreibt den Abstand von der Referenzzeit.
Sie beschreibt, wie schnell sich die Messwerte der Bilder ändern, wenn sich t vom Referenzzeitpunkt t₀ entfernt. Die Werte von g2(t) liegen im Intervall [0,1] und g₂ = 1, wenn die Bilder identisch sind, g₂ = 0, wenn die Bilder keine Ähnlichkeit haben.
Die Beobachtung ist, dass sich die Gargutoberfläche direkt nach Start des Garens zunächst nur wenig verändert, weil sich das Gargut erst einmal erwärmen muss. Die Auswertung der Autokorrelation g2(t) zu diesem frühen Zeitpunkt τ im Backprozess führt zu einer großen Zeitkonstanten, d. h. Änderungen laufen auf einer großen Zeitskala ab. g₂ kann auch als g₂(τ,t) geschrieben werden, wobei τ die Referenzzeit auf einer "äußeren" Zeitskala und t die innere Zeit innerhalb der Sequenz zu dieser Referenzzeit beschreibt. Die Werte von g2(t) liegen zwischen [0,1] und beginnen bei 1. Je nachdem, wie stark der Anfangswert in dem betrachteten Sequenz Zeitintervall in Richtung 0 abfällt, umso stärker ist die Veränderung. Die Veränderung ist hier gering.
Sobald der Garvorgang das Gargut stärker beeinflusst, kommt mehr Bewegung in die Gargutoberfläche. In gleichlangen Sequenz Zeitintervallen wird die Veränderung der Gargutoberfläche von Bild zu Bild stärker, bis zu einem Maximum. Die aus der Autokorrelation bestimmte Zeitkonstante verkleinert sich, d. h. Veränderung in kürzerer Zeit. Die Autokorrelation fällt in dem betrachteten Intervall auf einen geringeren Wert ab, d. h., die Veränderung ist im betrachteten Intervall auch größer. Danach wird die Veränderung der Oberfläche wieder langsamer und kommt in der Nähe des Garzustands im Volumen mittel duchgebacken zum Stehen. Die Zeitkonstante aus der Autokorrelation vergrößert sich wieder. Der augenblickliche Zustand des Volumenbackens kann durch Kurvendiskussion z. B. des zeitlichen Verlaufs der Zeitkonstanten aus der Autokorrelation erkannt werden.
Zu Beginn des Backens ändern sich die Bilder kaum, in der Mitte der Backzeit für das Volumenbacken ändern sich die Bilder stark und schnell, zum Garzustand "im Volumen mittel durch gebacken" geht die Änderung wieder gegen Null, bis auf den kontinuierlichen Bräunungsvorgang.
Die Berechnung der Ähnlichkeit von zeitversetzten Datensätze einer Sequenz im Vergleich zum Referenz-Datensatz kann mit multivariaten Verfahren der Mustererkennung wie z. B. Streudiagramm oder Streudiagramm Matrix erfolgen. Darstellung der Beschreiber als Funktion des Zeitversatzes zur Referenz.
Zur Berechnung von Bewegung im Kamerabild kann der Fuzzy-Index ermittelt werden. Für jedes Pixel des Farbwertbildes an der Position mn mit "Smn = Farbwert an der Position mn" wird der Absolutbetrag der Farbwert Differenz zum Zeitpunkt t j und t j+1 berechnet und auf deren Summe normiert. Das wird paarweise für alle Bilder einer Sequenz gemacht. Hier ist für den Fuzzy-Index τ ist der Auswerte Zeitpunkt nach Aufnahme der N+1 Bilder der Sequenz. Die τ-Zeitachse ist großskaliger als die t-Zeitachse. nm ist die Pixel Position in der Bildmatrix. t _j+1 - t _j ist der zeitliche Abstand der Bilder in einer Sequenz. Die t-Zeitachse beschreibt kleine Zeitabstände. Der Farbwert S kann z. B. die Helligkeit (L* im L*a*b* System) sein.
Der Zähler des Index beschreibt also, wie stark der Farbwert von Bild zu Bild innerhalb einer Sequenz fluktuiert. F_mn (t) beschreibt die Fluktuation für Pixel mn zur Zeit τ und liefert eine ortsaufgelöste Information. Summiert man zusätzlich über alle Pixel, geht die Ortsinformation verloren und erhält einen Wert, der die gesamte beobachtete Gargutoberfläche beschreibt.
Die Summe der normierten Beträge der Bild-Zu-Bild Änderungen über die N Bilder der Sequenz für ein einzelnes Pixel mn wird über alle Pixel des Bildes aufsummiert und ist ein Maß für die Fluktuation im Bild zum Zeitpunkt τ. Wenn die Farbwerte von Bild zu Bild stark fluktuieren, ist der Index F(τ) groß. Der Index ist ein Maß für die Fluktuationsgeschwindigkeit der Farbwerte.
Der Index F(τ), wird über die Zeit τ beobachtet und hat eine eindeutige und globale Maximumstruktur: zu Beginn des Backens ist F(τ) klein, etwa in der Mitte der Backzeit groß, beim Zustand des Volumenbackens "mittel durchgegart" wieder fast Null. Andere Zustände des Volumenbackens, vor und hinter dem mittleren Durchbacken, ergeben sich aus der mathematischen Analyse der zeitlichen Ableitungen des Index F(τ), z. B. durch Kurvendiskussion. So liefert die Messung des Index die Information über den Kernzustand beim Backen.
Zu jedem (Referenz) Zeitpunkt t0 gibt es eine Sequenz mit N zeitlich benachbarten Kamerabildern, die zu den Zeitpunkten t1, t2, ... , tN aufgenommen wurden. Die Zeit schreitet dabei von tN über t1 bis t0 an. tN liegt am weitesten in der Vergangenheit, t0 ist der aktuelle Zeitpunkt. Für die zum Zeitpunkt t0 gesuchte Information wird das Kamerabild zum Zeitpunkt t0 jeweils mit den zeitlich zurückliegenden Bildern von t1 bis tN verglichen, mit größer werdendem zeitlichen Abstand. Es wird mathematisch ein Zahlenwert für das Ausmaß bestimmt, in dem die Struktur der Bilder von tN über t1 bis t0 überwiegend durch Schrumpfung bei Strukturerhalt entstehen. D. h., im pixelweisen Vergleich der zwei jeweils zu vergleichenden Kamera Bilder bleibt eine Korrelation.
Die Korrelation nimmt durch eine über alle Pixel zu beobachtende (globale) Änderung der gemessenen Eigenschaft (z. B. der mittleren Helligkeit (nimmt beim Garen ab), des mittleren Rot-Grün-Wertes (nimmt zu), der Gargut Höhe (Abstand von der Kamera), der mittleren Oberflächentemperatur o.a. ab. Und sie nimmt zusätzlich dadurch ab, dass in einer Phase des Garens das Bild der Gargut Oberfläche schrumpft.
Zur Korrektur gegen den ersten Effekt wird der Pixelinhalt eines Kamerabildes jeweils auf den Mittelwert über alle Pixel normiert. Zur Korrektur gegen den zweiten Effekt, wird das neuere Kamera Bild jeweils soweit vergrößert, bis die Korrelation mit dem älteren Kamera Bild der Gargutoberfläche maximal ist.
Beim Backen von Backwaren ist die Korrelation der Kamerabilder beim Start hoch. Das Gargut verändert sich noch nicht, weil der Teig noch zu kalt ist. Dann nimmt die Korrelation des aktuellen Kamera Bildes zu seinen N zeitlichen Vorfahren immer mehr ab. Je mehr das Volumengaren abgeschlossen wird, umso weniger verändern sich die Kamera Bild Folgen durch Fluktuationen in den Pixelwerten. Die Korrelation nimmt wieder zu. Sie ist (wieder) maximal im Fertigzeitpunkt. Wird über den Fertigzeitpunkt hinaus gebacken, bleibt die Korrelation hoch, die Kamera Bilder der Oberfläche schrumpfen jedoch. Mit einem geeigneten Vergrößerungsfaktor, kann das früher Bild erzeugt werden.
Solange die Backware im Volumen gart, ist die Oberfläche der Backware in einer (expandierenden) Bewegung. Ist das Backen im Teigvolumen abgeschlossen, kommt diese Bewegung zum Stehen. Über die Teigoberfläche sind Bewegungen zu beobachten, die lokal unterschiedlich schnell, in unterschiedliche Richtungen und zu unterschiedlichen Zeiten erfolgen. Wenn das Volumen fertig gebacken ist, ist auch noch eine (geringe) Bewegung der Oberfläche zu beobachten. Diese ist aber deutlich weniger stark ausgeprägt und die Oberfläche bewegt sich als eine Gesamtheit/Einheit. Im Fall des Überbackens schrumpft die (abgesehen davon in ihrer Erscheinung zeitlich nicht mehr veränderliche) Oberflächenstruktur langsam, während sie während des Volumengarens bis zum Fertigzeitpunkt expandiert (und sich lokal unterschiedlich verändert).
Nach Start des Backvorgangs scheint der Teig z. B. für eine 2D-Digital Kamera häufig zunächst erst heller zu werden, weil sich die Teigoberfläche durch schmelzendes Fett u. a. glatt zieht und mehr wie ein Spiegel wirkt. Dann beginnt der Bräunungsprozess und die Helligkeit der Teigoberfläche nimmt stetig, mit sich charakteristisch ändernder Geschwindigkeit, ab. Das ist ein langsam ablaufender Prozess. Wichtiger ist hier jedoch der zeitliche Verlauf der Fluktuation der Helligkeit (in jedem Pixel), der auf einer kürzeren Zeitskala abläuft als die Bräunung und an einem Ort (Pixel) wechselnd in beide Richtungen verläuft (hell->dunkel und dunkel-> hell).
Dieser zweite, schnellere Prozess lässt die Helligkeit des Teiges aus der Sicht eines Pixels mit der Zeit zu- und abnehmen. Die mit der Kamera erfasste Helligkeit ergibt sich durch Reflexion des Garraum Lichtes an der Milli- und Mikrostruktur der Teigoberfläche. Diese Bewegung und Verformung führt dazu, dass sich fortwährend andere Orte der Objektoberfläche in den Blickwinkel eines Pixels schieben und das sich zusätzlich die Geometrie und die Reflexionseigenschaften dieser Objektorte ändern, was zu Veränderungen der Streuwinkel und der gestreuten Intensität der Garraumbeleuchtung in das fest positionierte Pixel führt. Eine ähnliche Bewegung ist vom Backen eines Auflaufs oder einer Pizza und Sieden von Wasser bekannt.
In jedem Pixel des Bildsensors fluktuiert die Helligkeit aufgrund dieser Effekte auf einer kurzen Zeitskala, verglichen mit der Bräunung, die nur zu einem langsamen Dunkler-Werden führt. Direkt zu Beginn des Backens ist die gesuchte Fluktuation noch sehr klein, weil der Teig kalt ist. Sobald der Teig heiß ist und zu backen beginnt, nimmt die Fluktuation zu, ist etwa auf der Mitte der Backzeit maximal und kommt zum Erliegen, wenn die Krume fertig gebacken ist, d. h. wenn der Teig im Volumen fertig gebacken ist.
Der Fertigzeitpunkt für das Backen im Volumen ist also durch das Zum-Erliegen-Kommen der Bewegungen an der Oberfläche gegeben. Beide Effekte "Helligkeitsabnahme durch Bräunung" und "Charakterisierung der Fluktuation" werden voneinander getrennt, um jeden der Effekte Bräunung und Volumenbacken voneinander unterscheiden zu können. Zur Erkennung des Fertigzustandes des Volumenbackens wird also die Fluktuation gut charakterisiert. Die Bräunung wird von ihr messtechnisch oder mathematisch entfernt. Bei einer Helligkeitsmessung dagegen ist die Fluktuation eine Störung, die das Erkennen des genauen Helligkeitswertes erschwert, die man deshalb loswerden möchte. Die Verhältnisse sind also genau umgekehrt.
Bei Abständen (3D-Kamera), gilt dieser Zusammenhang entsprechend. Solange die Teigoberfläche, ähnlich einer siedenden Wasseroberfläche, wabert, sich auf und ab bewegt und hin und her, misst jedes Pixel im zeitlichen Verlauf entsprechend unterschiedliche Abstände. Auch mit einer IR-Kamera ist dieser Effekt der Fluktuation gut zu sehen: Gas tritt aus der Gargutoberfläche unregelmäßig aus und führt zu Temperaturänderungen an der Gargut Oberfläche.

Bezugszeichenliste

1: Gargerät
2: Behandlungseinrichtung
3: Kameraeinrichtung
4: Verarbeitungseinrichtung
5: Fluktuationen
6: Trend
11: Garbereich
12: Steuereinrichtung
21: Garraum
31: Tür
100: Backofen
101: Bedieneinrichtung
102: Anzeigeeinrichtung
200: Farbwert
201: Zeit

Claims

Verfahren zum Betreiben eines Gargeräts (1) mit wenigstens einem Garbereich (11) zur Zubereitung von Gargut mittels wenigstens einer Behandlungseinrichtung (2), wobei das Gargut im Garbereich (11) während des Garprozesses überwacht wird und wobei dazu mittels wenigstens einer Kameraeinrichtung (3) über die Zeit Bilder wenigstens eines Teils der Gargutoberfläche erfasst werden und wobei die Bilder jeweils aus einer Vielzahl von Bildelementen bestehen und mittels wenigstens einer Verarbeitungseinrichtung (4) ausgewertet werden,
dadurch gekennzeichnet,
dass wenigstens ein Maß für kürzerfristige Fluktuationen (5) wenigstens eines Bildparameters um wenigstens einen durch eine zunehmende Garung des Garguts bedingten längerfristigen Trend (6) bestimmt wird und dass abhängig von dem Maß für die Fluktuationen (5) wenigstens ein innerer Garzustand des Garguts abgeleitet wird.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Fluktuationen (5) durch Bewegungen im Inneren und/oder an der Oberfläche des Garguts bedingt sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Maß für die Fluktuationen (5) ein zeitliches Auftreten von Extremwerten im zeitlichen Verlauf des Bildparameters beschreibt oder aus einem solchen bestimmt wird und vorzugsweise dass der Trend einen statistisch geglätteten zeitlichen Verlauf des Bildparameters beschreibt oder aus einem solchen bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fluktuationen (5) eine um ein Vielfaches größere Zahl an Vorzeichenwechseln aufweisen als der Trend und insbesondere dass die Fluktuationen (5) zufällige Vorzeichenwechsel aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Maß für die Fluktuationen (5) für jeweils ein einzelnes Bildelement des Bildes und/oder für jeweils wenigstens eine Gruppe von Bildelementen, beispielsweise Zeilen, bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung des Maßes für die Fluktuationen (5) Veränderungen des Bildparameters zwischen wenigstens zwei zeitversetzten Bildern ausgewertet werden und dass die Bilder einen Zeitversatz von nicht mehr als fünf Minuten und vorzugsweise weniger als eine Minute und besonders bevorzugt weniger als 30 Sekunden aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung des Maßes für die Fluktuationen (5) die im Bild ortsgleichen Bildelemente von jeweils wenigstens zwei zeitversetzten Bildern miteinander verglichen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Trend (6) ein zeitlicher Verlauf eines Mittelwerts des wenigstens einen Bildparameters ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Trend (6) eine zeitliche Farbwertveränderung durch den zunehmenden Garfortschritt, insbesondere Bräunungsprozess, des Garguts ist und dass die Fluktuationen (5) zufälligen Farbwertänderungen um diesen Trend (6) entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Trend (6) eine zeitliche Abstandswertveränderung und/oder Temperaturwertveränderung durch den zunehmenden Garfortschritt des Garguts ist und dass die Fluktuationen (5) zufälligen Abstandswertveränderungen und/oder Temperaturwertveränderungen um diesen Trend (6) entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zeitlicher Verlauf des Bildparameters registriert wird und dass die Fluktuationen (5) im zeitlichen Verlauf des Bildparameters rechnerisch von dem Trend (6) im zeitlichen Verlauf des Bildparameters bereinigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein innerer Garzustand mit einer mittleren Durchgarung und/oder ein Fertigzeitpunkt angenommen wird, wenn ein zeitlicher Verlauf des Maßes für die Fluktuationen (5) nach einem Maximum wieder ein Minimum erreicht.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass eine Ansteuerung der Behandlungseinrichtung (2) abhängig von dem ermittelten inneren Garzustand erfolgt und/oder dass abhängig von dem ermittelten inneren Garzustand wenigstens eine Anpassung eines Automatikprogramms vorgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildparameter aus der Gruppe der folgenden Bildparameter entnommen ist:
Farbwert, Grauwert, Helligkeitswert, Intensitätswert, Kontrastwert, Temperaturwert einer Wärmebildkamera, Abstandwert einer 3D-Kamera.
Gargerät (1), dazu geeignet und ausgebildet, nach dem Verfahren nach einem der vorhergehenden Ansprüche betrieben zu werden.