-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Gargeräts mit wenigstens einem Garbereich zur Zubereitung von Gargut mittels wenigstens einer Behandlungseinrichtung. Während des Garprozesses wird das Gargut im Garbereich mittels wenigstens einer Kameraeinrichtung überwacht.
-
Derartige Kameraeinrichtungen werden mitunter in modernen Gargeräten eingesetzt, um Informationen über das Gargut automatisch erfassen zu können. Diese Informationen werden dann von dem Gerät bei der Zubereitung berücksichtigt und sind beispielsweise für einen zuverlässigen Ablauf von Automatikprogrammen besonders entscheidend. Für Lebensmittel, welche sich deutlich unterscheiden, funktionieren die bekannten Systeme in der Regel zuverlässig. Allerdings erweist es sich oft als problematisch, ähnliche Lebensmittel zu erkennen und korrekt zu klassifizieren. Wenn zum Beispiel Fleischstücke (Kotelett, Filet, Tierart usw.) oder Teigarten (Rührteig, Hefeteig usw.) automatisch erkannt werden sollen, stoßen die bekannten Systeme jedoch häufig an ihre Grenzen.
-
Es ist daher die Aufgabe der vorliegenden Erfindung, eine verbesserte Klassifizierung von Gargut mittels einer Kameraeinrichtung in einem Garbereich während eines Garprozesses zu ermöglichen. Dabei soll die Lösung vorzugsweise besonders zuverlässig und zugleich unaufwendig und wirtschaftlich umsetzbar sein.
-
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein Gargerät mit den Merkmalen des Anspruchs 13. Bevorzugte Merkmale sind Gegenstand der Unteransprüche. Weitere Vorteile und Merkmale ergeben sich aus der allgemeinen Beschreibung der Erfindung und der Beschreibung der Ausführungsbeispiele.
-
Das erfindungsgemäße Verfahren dient zum Betreiben eines Gargeräts mit wenigstens einem Garbereich, insbesondere Garraum, zur Zubereitung von Gargut mittels wenigstens einer Behandlungseinrichtung. Das Gargut wird im Garbereich mittels wenigstens einer Kameraeinrichtung überwacht und insbesondere während des Garprozesses überwacht. Dabei wird mittels der Kameraeinrichtung eine Gargutoberfläche wenigstens ausschnittsweise mit wenigstens zwei unterschiedlichen Brennweiten aufgenommen. Die dadurch erhaltenen Aufnahmen werden mittels wenigstens einer Verarbeitungseinrichtung mit jeweils wenigstens einem für die Brennweite der jeweiligen Aufnahme spezifischen und in der Verarbeitungseinrichtung hinterlegten Algorithmus ausgewertet. Abhängig von den Auswertungen wird eine Klassifizierung des Garguts vorgenommen.
-
Das erfindungsgemäße Verfahren bietet viele Vorteile. Einen erheblichen Vorteil bietet die Überwachung des Garguts mit wenigstens zwei unterschiedlichen Brennweiten. Dadurch können gezielt besonders aussagekräftige Aufnahmen von bestimmten Bereichen des Garguts erfasst werden. Durch die unterschiedlichen Brennweiten werden Aufnahmen mit einem besonders hohen Informationsgehalt erzielt, sodass insgesamt eine bessere Auswertung und Klassifizierung des Garguts erreicht wird. Diese Aufnahmen eignen sich daher besonders gut für eine Auswertung mit einem Modell des maschinellen Lernens bzw. einer künstlichen Intelligenz. Besonders vorteilhaft ist auch die Auswertung der Aufnahmen mit den brennweitenspezifischen Algorithmen. Dadurch kann die Auswertung optimal und unaufwendig an die Anforderungen der jeweiligen Aufnahmen angepasst werden, beispielsweise an Übersichtsaufnahmen und an Detailaufnahmen mit Feinstrukturen. So bietet die Erfindung insgesamt eine besonders reproduzierbare und zugleich unaufwendig und wirtschaftlich umsetzbare Möglichkeit zur Klassifizierung des Garguts mittels einer Kameraeinrichtung. Mit der Erfindung können beispielsweise verschiedene Fleischarten oder Teigarten zuverlässig voneinander unterschieden und gezielt zubereitet werden.
-
Vorzugsweise umfasst die Kameraeinrichtung für die Aufnahmen mit unterschiedlicher Brennweite wenigstens ein Zoomobjektiv. Das Zoomobjektiv weist insbesondere eine veränderliche Brennweite auf. Insbesondere ist wenigstens wenigstens 1,5-faches oder 2-faches oder 3-faches optisches Zoomobjektiv vorgesehen. Insbesondere umfasst das Zoomobjektiv mehr als eine Zoomstufe und beispielsweise wenigstens zwei Zoomstufen. Zusätzlich oder alternativ kann auch ein digitaler Zoom vorgesehen sein.
-
Bevorzugt ist auch, dass die Kameraeinrichtung für die Aufnahmen mit unterschiedlicher Brennweite wenigstens zwei Objektive mit unterschiedlicher Brennweite umfasst. In einer solchen Ausführung ist die Kameraeinrichtung insbesondere als eine Dualkamera bzw. Mehrobjektivkamera ausgebildet oder umfasst wenigstens eine solche. Das bietet eine besonders unaufwendige Umsetzung unterschiedlicher Vergrößerungsfaktoren. Zudem sind bei einer solchen Kamera meist keine beweglichen Objektivteile notwendig. Die Kameraeinrichtung umfasst insbesondere wenigstens ein Teleobjektiv und/oder Makroobjektiv und/oder Weitwinkelobjektiv und/oder wenigstens eine andere geeignete Objektivbauart. Die Objektive können als Zoomobjektiv ausgebildet sein.
-
Der Algorithmus ist vorzugsweise als wenigstens ein selbstlernendes Modell des maschinellen Lernens ausgebildet oder umfasst wenigstens ein solches. Vorzugsweise leitet die Verarbeitungseinrichtung durch das Modell eigenständig aus den Auswertungen die Klassifizierung des Garguts ab. Eine solche Auswertung führt zu besonders zuverlässigen und aussagekräftigen Ergebnissen. Insbesondere ist für die Brennweiten jeweils wenigstens ein Modell des maschinellen Lernens vorgesehen. Möglich und bevorzugt ist aber auch, dass die für die unterschiedlichen Brennweiten vorgesehenen Auswertungen in einem Modell des maschinellen Lernens integriert sind. Insbesondere ist das Modell des maschinellen Lernens brennweitenspezifisch optimiert bzw. trainiert. Insbesondere werden aus den Aufnahmen Merkmalsvektoren für das Modell abgeleitet. Insbesondere wird wenigstens ein Bildparameter der Aufnahmen als ein Merkmalsvektor berücksichtigt. Insbesondere geht der Merkmalsvektor dann zur Verrechnung in das Modell des maschinellen Lernens ein.
-
Es ist bevorzugt, dass das Modell durch überwachtes maschinelles Lernen erstellt ist bzw. wurde und/oder trainiert wird. Vorzugsweise wird dazu wenigstens eine Datenmenge aus einer repräsentativen Menge an Aufnahmen als Referenz erfasst. Dann werden vorzugsweise Zusammenhänge zwischen Aufnahmen und insbesondere Merkmalsvektoren und Klassifizierungen des Garguts angelernt, sodass anschließend das Modell in der Lage ist, ausgehend von den Aufnahmen insbesondere eigenständig Klassifizierungen vorzunehmen. Das Modell kann dazu geeignet und ausgebildet sein, sich selbstständig zu optimieren. Insbesondere ist dazu eine Rückkopplung über die Qualität bzw. Erfolgsrate der durchgeführten Berechnungen vorgesehen. Das Modell umfasst insbesondere wenigstens eine Software oder ist eine solche ausgebildet. Das Modell stellt insbesondere eine künstliche Intelligenz bereit.
-
In einer vorteilhaften Weiterbildung werden bei den unterschiedlichen Brennweiten jeweils wenigstens zwei Aufnahmen, insbesondere Mehrzahl von Aufnahmen, von der Gargutoberfläche erfasst. Es ist bevorzugt, dass die Verarbeitungseinrichtung mittels des Modells die Aufnahmen mit gleichen Brennweiten zusammen auswertet und insbesondere zu jeweils wenigstens einem Zwischenergebnis zusammenführt. Vorzugsweise gehen die Zwischenergebnisse in eine weitere Auswertung für die unterschiedlichen Brennweiten ein. Die wenigstens zwei Aufnahmen der jeweiligen Brennweite können denselben Ausschnitt der Gargutoberfläche oder verschiedene Ausschnitte der Gargutoberfläche betreffen. Es ist möglich, dass für jede Brennweite jeweils eine Mehrzahl von Aufnahmen erfasst werden und vorzugsweise mittels des Modells ausgewertet und zu einem Zwischenergebnis zusammengeführt werden. Möglich ist auch, dass die Verarbeitungseinrichtung die Aufnahmen mit gleichen Brennweiten mittels wenigstens eines anderen Algorithmus als dem Modell auswertet.
-
Es ist möglich und bevorzugt, dass für die Klassifizierung des Garguts wenigstens zwei unterschiedliche Gargutkenngrößen herangezogen werden. Dabei werden die Gargutkenngrößen vorzugsweise jeweils durch Auswertung wenigstens einer bei einer bestimmten Brennweite aufgenommenen Aufnahme mittels des für die Brennweite spezifischen Algorithmus ermittelt. Möglich und bevorzugt ist auch, dass die Gargutkenngrößen jeweils durch Auswertung wenigstens einer bei einer bestimmten Brennweite aufgenommenen Aufnahme mittels des Modells ermittelt werden. Beispielsweise wird als eine erste Gargutkenngröße der Fettanteil und als eine zweite Gargutkenngröße eine Faserdicke ermittelt. Dabei kann für den Fettanteil eine kleinere Brennweite und für die Faserdicke eine größere Brennweite eingesetzt werden. Aus diesen beiden Gargutkenngrößen kann dann das Fleischstück besonders zuverlässig einer bestimmten Fleischart zugeordnet werden.
-
In einer besonders vorteilhaften Weiterbildung ist vorgesehen, dass die Verarbeitungseinrichtung abhängig von einer ermittelten Gargutkenngröße wenigstens eine weitere zu bestimmende Gargutkenngröße insbesondere selbstständig aus einer Gruppe von Gargutkenngrößen auswählt. Dazu beginnt die Verarbeitungseinrichtung vorzugsweise zunächst mit der Bestimmung wenigstens einer festgelegten Gargutkenngröße. Insbesondere wählt die Verarbeitungseinrichtung dann in Abhängigkeit von dem Ergebnis für diese Gargutkenngröße wenigstens eine weitere zu bestimmende Gargutkenngröße aus. Besonders bevorzugt erfolgt die Auswahl der weiteren zu bestimmenden Gargutkenngröße durch das Modell des maschinellen Lernens. Insbesondere wird eine Abfolge der nacheinander zu bestimmenden Gargutkenngrößen selbstständig durch das Modell des maschinellen Lernens festgelegt und vorzugsweise fortlaufend angepasst bzw. optimiert. In der Verarbeitungseinrichtung kann aber auch eine festgelegte Abfolge von nacheinander zu bestimmenden Gargutkenngrößen hinterlegt sein.
-
In allen Ausgestaltungen ist es besonders bevorzugt, dass die Verarbeitungseinrichtung selbstständig die zur Bestimmung einer Gargutkenngröße benötigte Brennweite auswählt und einstellt. Insbesondere erfolgt die Auswahl der Brennweite durch das Modell des maschinellen Lernens. Möglich ist aber auch, dass in der Verarbeitungseinrichtung eine feste Zuordnung von zu bestimmender Gargutkenngröße und Brennweite hinterlegt ist.
-
Es ist möglich, dass bei wenigstens einer ersten Brennweite eine optische Abbildung von wenigstens einer definierten Fläche der Gargutoberfläche und/oder der Fläche des gesamten Garbereichs aufgenommen wird. Es ist möglich, dass bei wenigstens einer zweiten Brennweite eine optische Abbildung von maximal einem Zehntel oder maximal einem Hundertstel der bei der ersten Brennweite aufgenommenen Fläche aufgenommen wird. Insbesondere ist die definierte Fläche die gesamte von der Kamera aus sichtbare Gargutoberfläche. Die definierte Fläche kann eine Breite und/oder Länge von 40cm oder 30 cm oder 20 cm oder 10 cm aufweisen. Insbesondere unterscheiden sich die Flächen der optischen Abbildungen der Brennweiten wenigstens um Faktor 5 oder wenigstens 10 oder wenigstens 20 oder wenigstens 50 oder wenigstens 100 oder wenigstens 1000. Insbesondere sind mehrere Brennweiten vorgesehen, wobei sich die Flächen der optischen Abbildungen der aufeinanderfolgenden Brennweiten jeweils wenigstens um Faktor 5 oder wenigstens 10 oder wenigstens 20 oder wenigstens 50 oder wenigstens 100 oder wenigstens 1000 unterscheiden.
-
Bei der größeren der wenigstens zwei Brennweiten weist der Bildausschnitt insbesondere eine Breite und/oder Länge von maximal 10 cm oder 5 cm oder 1 cm oder 5 mm oder 1 mm auf. Insbesondere wird eine Strecke von einem Millimeter auf dem Gargut von wenigstens 10 und vorzugsweise wenigstens 25 und besonders bevorzugt wenigstens 50 Bildelementen abgebildet. Möglich sind auch größere oder geringere Auflösungen. Es kann vorgesehen sein, dass bei einer großen Brennweite (kleiner Bildausschnitt) zur Repräsentation des (gesamten) Garguts mehrere Aufnahmen von unterschiedlichen Bereichen erfasst und verarbeitet werden.
-
Insbesondere wird die Gargutoberfläche für die Aufnahme von der Kameraeinrichtung fokussiert. Insbesondere umfasst die Kameraeinrichtung dazu wenigstens eine Autofokuseinrichtung. So können scharfe und aussagekräftige Aufnahmen trotz unterschiedlicher Abstände zwischen Kamera und Gargut oder unterschiedlicher Zoomeinstellungen erzielt werden. Möglich ist auch, dass die Optik der Kameraeinrichtung derart ausgebildet ist, dass in allen bestimmungsgemäßen Abständen des Garguts vom Objektiv und/oder bei allen bestimmungsgemäßen Brennweiten eine scharfe Abbildung der Gargutoberfläche erfolgt.
-
Vorzugsweise werden mit der Kameraeinrichtung Aufnahmen wenigstens im sichtbaren und/oder wenigstens im langwelligen und/oder wenigstens im kurzwelligen Wellenlängenbereich erfasst. Mögliche bevorzugt ist auch, dass mit der Kameraeinrichtung Aufnahmen mit zweidimensionalen und/oder dreidimensionalen und/oder hyperspektralen Informationen erfasst werden. Insbesondere ist die Kameraeinrichtung zur Erfassung von Aufnahmen im sichtbaren und/oder im langwelligen und/oder im kurzwelligen Wellenlängenbereich und/oder zur Erfassung von Aufnahmen mit dreidimensionalen Bildinformationen geeignet und ausgebildet. Insbesondere umfasst die Kameraeinrichtung wenigstens eine Wärmebildkamera bzw. IR-Kamera und/oder wenigstens eine 3D-Kamera und/oder wenigstens eine Hyperspektralkamera oder ist als eine solche ausgebildet. Der langweilige Wellenlängenbereich umfasst insbesondere wenigstens den Infrarotbereich, insbesondere einen nahen und/oder fernen und/oder mittleren Infrarotbereich. Der kurzwellige Wellenlängenbereich umfasst insbesondere wenigstens den UV-Bereich.
-
Die Aufnahmen umfassen vorzugsweise Helligkeitsmuster und/oder Farbmuster und/oder Strukturmuster. Beispielsweise umfassen die Aufnahmen Fettstrukturen, Muskelfaserstrukturen, Knochenstrukturen, Teigstrukturen oder andere Lebensmittelstrukturen. Insbesondere erfolgt wenigstens eine Auswertung wenigstens eines Bildparameters der Aufnahmen. Vorzugsweise werden durch die Auswertung des Bildparameters wenigstens die zuvor genannten Muster erkannt. Vorzugsweise erfolgt auf Basis des erkannten Musters die Klassifizierung des Garguts. Insbesondere erfolgt die Mustererkennung und/oder die Klassifizierung des Garguts aus dem Muster durch das zuvor beschriebene Modell des maschinellen Lernens. Möglich ist auch, dass in der Verarbeitungseinrichtung eine Vielzahl von solchen Mustern hinterlegt sind. Dann kann durch einen Abgleich eine Zuordnung der erkannten Muster zu einem hinterlegten Muster erfolgen. Beispielsweise betrifft ein solches Muster eine Faserdicke, Faserlänge, Faseranordnung, Muskel-Fett-Verteilung, Knochenanteile oder dergleichen. Aus solchen Mustern kann eine besonders zuverlässige und aussagekräftige Klassifizierung des Garguts erfolgen. Entsprechend erfolgt auch für Teigwaren und/oder Gemüse und/oder Obst und/oder Fisch eine solche Mustererkennung durch ein Helligkeitsmuster und/oder Farbmuster und/oder Strukturmuster in den Aufnahmen.
-
Der Bildparameter ist vorzugsweise aus der Gruppe der folgenden Bildparameter entnommen oder beschreibt wenigstens einen solchen: Farbwert, Grauwert, Helligkeitswert, Intensitätswert, Kontrastwert, Temperaturwert einer Wärmebildkamera, Abstandwert einer 3D-Kamera bzw. einer Kamera zur Erfassung dreidimensionaler Objektinformationen. Beispielsweise kann der Bildparameter ein Rotwert und/oder Grünwert und/oder Blauwert sein oder beschreibt wenigstens einen solchen. Möglich und bevorzugt ist auch, dass der Bildparameter wenigstens ein anderer Parameter der Bildverarbeitung ist oder einen solchen beschreibt. Der Bildparameter kann auch rechnerisch aus einem solchen Parameter hergeleitet sein.
-
Vorzugsweise wird die Behandlungseinrichtung mittels wenigstens einer Steuereinrichtung in Abhängigkeit der Klassifizierung des Garguts angesteuert. Dabei wird vorzugsweise wenigstens ein Parameter wenigstens eines Behandlungsprogramms, auch als Automatikprogramm bezeichnet, in Abhängigkeit der Klassifizierung des Garguts angepasst. Insbesondere wird die Klassifizierung des Garguts während des Garvorgangs wiederholt durchgeführt und vorzugsweise angepasst. Insbesondere wird ein Fertigzeitpunkt in Abhängigkeit der Klassifizierung des Garguts festgelegt. Möglich ist auch, dass in Abhängigkeit der Klassifizierung ein Automatikprogramm aus einer Gruppe von Automatikprogrammen ausgewählt wird.
-
Das erfindungsgemäße Gargerät ist dazu geeignet und ausgebildet, nach dem erfindungsgemäßen Verfahren betrieben zu werden. Insbesondere umfasst das Gargerät wenigstens einen verschließbaren und vorzugsweise auch beheizbaren Garraum. Insbesondere wird der Garbereich durch den Garraum bereitgestellt. Insbesondere umfasst das Gargerät die zuvor beschriebenen Komponenten zur Durchführung des erfindungsgemäßen Verfahrens. Vorzugsweise ist das erfindungsgemäße Verfahren so ausgebildet, dass das erfindungsgemäße Gargerät damit betrieben werden kann.
-
Insbesondere werden die brennweitenspezifischen Auswertungen wenigstens einer Gesamtauswertung unterzogen. Insbesondere erfolgt die Klassifizierung des Garguts aus den Daten der Gesamtauswertung. Die Klassifizierung des Garguts umfasst insbesondere eine Bestimmung wenigstens einer Gargutkenngröße. Die Gargutkenngröße betrifft insbesondere einen Garzustand im Inneren und/oder eine Bräunung an der Oberfläche. Die Gargutkenngröße kann auch den Fertigzeitpunkt für den Garprozess und das Gargut beschreiben. Es ist möglich, dass für die Klassifizierung des Garguts auch wenigstens eine Benutzereingabe abgefragt wird. Dadurch kann die Klassifizierung noch zuverlässiger bestimmt werden.
-
Unter einer Aufnahme werden im Rahmen der vorliegenden Erfindung insbesondere alle Arten von mittels der Kameraeinrichtung erfassbaren Messgrößen verstanden. Die Kameraeinrichtung umfasst insbesondere wenigstens einen digitalen Bildsensor. Die Aufnahme kann beispielsweise wenigstens ein Bild oder einen Bilderstapel bzw. eine Bilderfolge oder auch eine Zahlendarstellung wenigstens eines Bildparameters und beispielsweise eine Intensitätsverteilung oder dergleichen umfassen.
-
Insbesondere bestehen die Aufnahmen aus jeweils einer Vielzahl von Bildelementen. Die Bildelemente stellen insbesondere ortsaufgelöste Bildinformationen aus dem Garbereich zur Verfügung. Die Kameraeinrichtung umfasst insbesondere eine Vielzahl von Sensorsegmenten. Dabei ist vorzugsweise mit jeweils wenigstens einem Sensorsegment jeweils wenigstens ein Bildelement aus dem Garbereich ortsaufgelöst erfassbar. Ein Bildelement ist insbesondere jeweils wenigstens einem Sensorsegment eines Bildsensors der Kameraeinrichtung zugeordnet bzw. in wenigstens einem Sensorsegment abbildbar. Im Rahmen der vorliegenden Erfindung können Bildelement und Pixel synonym verwendet werden. Insbesondere wird wenigstens ein Bildparameter der Aufnahmen ausgewertet. Es ist möglich, dass für die Bildelemente jeweils wenigstens ein Bildparameter ausgewertet wird.
-
Insbesondere werden über die Zeit wiederholt Aufnahmen der Gargutoberfläche erfasst. Insbesondere wird wenigstens zu Beginn und/oder vor Beginn des Garprozesses die Klassifizierung des Garguts vorgenommen. Vorzugsweise wird die Klassifizierung des Garguts auch während des Garprozesses vorgenommen bzw. fortgesetzt. Die Klassifizierung des Garguts kann auch aus einem zeitlichen Verlauf wenigstens eines Bildparameters der Aufnahmen vorgenommen werden. Insbesondere weisen die bei den unterschiedlichen Brennweiten aufgenommenen Aufnahmen unterschiedliche Vergrößerungsfaktoren bzw. Abbildungsmaßstäbe auf. Insbesondere werden wird die Gargutoberfläche bei einer Mehrzahl unterschiedlicher Brennweiten aufgenommen.
-
Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus den Ausführungsbeispielen, welche im Folgenden mit Bezug auf die beiliegenden Figuren erläutert werden.
-
In den Figuren zeigen:
- 1 eine rein schematische Darstellung eines erfindungsgemäßen Gargerätes in einer Vorderansicht; und
- 2 eine rein schematische Skizze zur Veranschaulichung des erfindungsgemäßen Verfahrens.
-
Die 1 zeigt ein als Backofen 100 bzw. Kombigerät ausgebildetes erfindungsgemäßes Gargerät 1. Als Garbereich 11 ist hier ein beheizbarer und durch eine Garraumtür 31 verschließbarer Garraum 21 vorgesehen. Das Gargerät 1 ist hier als ein Einbaugerät vorgesehen. Es kann auch als ein Standgerät ausgebildet sein. Das Gargerät 1 wird nach dem erfindungsgemäßen Verfahren betrieben.
-
Zur Zubereitung von Gargut ist eine Behandlungseinrichtung 2 vorgesehen, die in der hier dargestellten Ansicht nicht sichtbar im Garraum 21 bzw. hinter der Tür 31 angeordnet ist. Die Behandlungseinrichtung 2 umfasst z. B. eine thermische Heizeinrichtung mit mehreren Heizquellen zur Beheizung des Garraums 21. Als Heizquellen können beispielsweise eine Oberhitze, eine Unterhitze, eine Heißluftheizquelle und/oder eine Grillheizquelle vorgesehen sein. Das Gargerät 1 kann mit einer Dampfgarfunktion ausgestattet sein. Die Behandlungseinrichtung 2 kann einen Hochfrequenzerzeuger zum Aussenden von Hochfrequenzstrahlung in den Garraum 21 für die Zubereitung von Gargut aufweisen.
-
Das Gargerät 1 umfasst hier eine Steuereinrichtung 12 zur Steuerung bzw. Regelung von Gerätefunktionen und Betriebszuständen. Über die Steuereinrichtung 12 sind vorwählbare Betriebseinstellungen und vorzugsweise auch verschiedene Automatikprogramme bzw. Programmbetriebsarten und andere Automatikfunktionen ausführbar. Die Steuereinrichtung 12 steuert dazu die Behandlungseinrichtung 2 in Abhängigkeit eines vorgewählten Automatikprogramms entsprechend an.
-
Zur Bedienung des Gargerätes 1 ist eine Bedieneinrichtung 101 vorgesehen. Beispielsweise können darüber eine Betriebsart oder ein Automatikprogramm bzw. eine Programmbetriebsart oder andere Automatikfunktionen ausgewählt und eingestellt werden. Über die Bedieneinrichtung 101 können auch weitere Benutzereingaben vorgenommen werden und zum Beispiel eine Menüsteuerung vorgenommen werden. Die Bedieneinrichtung 101 umfasst auch eine Anzeigeeinrichtung 102, über die Benutzerhinweise und z. B. Eingabeaufforderungen angezeigt werden können. Die Bedieneinrichtung 101 kann Bedienelemente und/oder eine berührungsempfindliche Anzeigeeinrichtung 102 bzw. einen Touchscreen umfassen.
-
Das Gargerät 1 ist mit einer im Garraum 21 angeordneten Kameraeinrichtung 3 mit einem digitalen Bildsensor zur Erfassung von Bildinformationen eines im Garraum 21 befindlichen Lebensmittels ausgestattet. Der Bildsensor hat z. B. eine Auflösung von 10 oder 20 oder 50 oder mehr Megapixeln. Ein Pixel entspricht dabei einem Bildelement. Die Kameraeinrichtung 3 ist hier nicht sichtbar an einer Oberseite des Garraums 21 angeordnet. Der von der Kameraeinrichtung 3 erfasste Garbereich 11 kann aber auch auf einem Kochfeld oder auf einem Arbeitsbereich bzw. auf einer Arbeitsplatte liegen. Dann ist die Kameraeinrichtung 3 beispielsweise oberhalb des Kochfeldes bzw. der Arbeitsplatte angeordnet, beispielsweise an einem Oberschrank oder einer Dunstabzugshaube.
-
Die Kameraeinrichtung 3 wird dazu eingesetzt, das Gargut im Garraum 21 zu klassifizieren. Dazu wird die Gargutoberfläche mit zwei oder mehr unterschiedlichen Brennweiten aufgenommen. Die Kameraeinrichtung 3 weist dazu z. B. zwei Objektive mit unterschiedlicher Brennweite auf und ist als eine Dualkamera 23 ausgebildet. Diese kann auch ein Bild aus den Aufnahmen der beiden Objektive berechnen. Möglich sind auch Ausführungen mit drei oder mehr Objektiven mit jeweils unterschiedlicher Brennweite. Zusätzlich oder alternativ kann die Kameraeinrichtung 3 auch mit einem hier nicht näher dargestellten Zoomobjektiv 13 ausgestattet sein. Zum Fokussieren der Gargutoberfläche kann eine Autofokuseinrichtung 33 vorgesehen sein.
-
Die bei den unterschiedlichen Brennweiten aufgenommenen Aufnahmen werden mit einer Verarbeitungseinrichtung 4 ausgewertet, in welcher hier ein selbstlernendes Modell des maschinellen Lernens hinterlegt ist. Dabei ist das Modell hier brennweitenspezifisch optimiert und trainiert, sodass die Aufnahmen jeweils eine für die verwendete Brennweite spezifische Auswertung erfahren. Alternativ oder zusätzlich kann in der Verarbeitungseinrichtung 4 auch eine andere Art von Algorithmus hinterlegt sein. Die Verarbeitungseinrichtung 4 nimmt abhängig von den Auswertungen die Klassifizierung des Garguts vor. Beispielsweise wird dann die Behandlungseinrichtung 2 unter Berücksichtigung der Garguteigenschaften entsprechend angesteuert oder ein in der Steuereinrichtung 12 hinterlegtes Automatikprogramm wird entsprechend ausgewählt oder angepasst.
-
In der 2 ist eine Aufnahme 200 eines Ausschnitts der Oberfläche eines Fleischstücks gezeigt, welche mit dem zuvor beschriebenen Gargerät 1 erfasst wurde. Dabei wurde hier eine Brennweite gewählt, welche eine detaillierte Auflösung der Fleischstruktur erlaubt. Daher sind hier die Fettverteilung und die Maserung besonders gut zu erkennen. Zudem wurde die Aufnahme durch die Verarbeitungseinrichtung 4 bearbeitet und in ein 16-Farben-Bild umgewandelt, um die Fett- und Muskelfaserbereiche besser zu kontrastieren.
-
In einem beispielhaften Verfahrensablauf werden aus der Aufnahme 200 Bildelemente bzw. Pixel ausgewählt und als Gruppe 201 weiterverarbeitet. Für diese Gruppe 201 erfolgt dann im Rahmen einer Bildverarbeitung die Bestimmung beispielsweise von Rotwerten und Grauwerten. Solche Bildparameter sind für die Bestimmung der Fleischart besonders hilfreich. Die Werte bzw. Bildparameter werden dann als Merkmalsvektoren 202 dargestellt und gehen in das Modell zum maschinellen Lernen ein und werden dort verrechnet. Beispielsweise nimmt das Modell eine Strukturerkennung bzw. Mustererkennung vor und bestimmt dadurch die Fleischart und/oder die Tierart.
-
Zudem werden auch Daten aus einer Aufnahme bei wenigstens einer kürzeren Brennweite in Merkmalsvektoren umgesetzt und von dem Modell berücksichtigt. Bei der kürzeren Brennweite kann beispielsweise eine Übersichtsaufnahme des Fleischstücks erfolgen. Darüber kann dann eine Aussage über die Größe und somit die benötigte Gardauer getroffen werden. Möglich ist auch, dass aus der Übersichtsaufnahme der Knochenanteil bestimmt wird. So kann beispielsweise zwischen einem Kotelett und einem knochenfreien Fleischstück unterschieden werden. Insgesamt kann aus den Aufnahmen bei den verschiedenen Brennweiten durch das Modell eine Aussage getroffen werden, ob es sich zum Beispiel um ein Lammkotelett oder um ein Schweinefilet handelt. Ein Vorteil der Erfindung ist also, dass alternativ oder zusätzlich zu einer Erkennung der äußeren Kontur des Garguts eine ortsaufgelöste Struktur analysiert werden kann, bei der die gewonnenen Informationen kleinteilig über die Gargutoberfläche variieren (Farbmuster, Strukturmuster usw.).
-
Es können auch die grauen Fettbereiche durch eine Datenvorverarbeitung (z. B. durch Kreise) angenähert werden. Deren mittlerer Durchmesser steht dann in einer Komponente des Merkmalsvektors und deren Standardabweichung in einer anderen. Oder die Näherung erfolgt durch Ellipsen. Dann stehen die beiden Hauptachsen in dem Merkmalsvektor und deren Standardabweichungen. Statt der Fettstruktur kann auch die Struktur der Muskelfaser weiter charakterisiert werden: Dicke, Standardabweichung Dicke, Länge, Standardabweichung Länge usw.
-
Die Merkmale, die aus den gezoomten Aufnahmen extrahiert werden, bilden nicht notwendig einen separaten, angehängten Teil des Merkmalsvektors, sondern können auch mindestens teilweise als Kombinationsergebnis von Fotos mit verschiedener Brennweite oder mit verschiedener Empfindlichkeit auf das detektierte Licht (sichtbar, nahes IR, mittleres IR, UV etc.) entstanden sein.
-
Durch die Auswertung eines nach einer zuvor ermittelten Vorschrift erzeugten Merkmalsvektors, der aus Messdaten an einer Gargutart entstanden ist, in einem ebenfalls zuvor erzeugten Vorhersage Modell kann die Art des Garguts mit Methoden des maschinellen Lernens hier besonders zuverlässig bestimmt werden. Zur Erzeugung des Vorhersage Modells wird z. B. ein entsprechend großer Datensatz mit Merkmalsvektoren für Gargut unterschiedlicher Art erhoben. Für die Trainingsphase (Lernphase) wird für jede Klasse bzw. Art von Gargut z. B. ein ganzer Satz Rohdaten bestehend aus Bildern, Texten, Dokumenten usw. erzeugt. Der Inhalt dieser Rohdaten wird in einer geeigneten Datenvorverarbeitung aufkonzentriert und durch einen Merkmalsvektor dargestellt (der z. B. eine Spalte und sehr viele Zeilen hat). Zu jeder Gargutart gehört also mindestens ein Merkmalsvektor. Falls auch nicht zahlenartige Beschreiber durch Texte, Dokumente u.a. vorliegen, werden diese mit einer entsprechenden Übersetzungstabelle in Zahlen transformiert. Auch die Gargutart selbst wird für den Rechner in Zahlenform gewandelt, z. B. werden alle Arten des Garguts einfach durchnummeriert. Das Trainieren heißt deshalb überwacht, weil dem Modell neben den zur Gargutart gehörenden Rohdaten auch die Information über die korrekte Klassifizierung und z. B. die Gargutart mitgeteilt wird. So wird Schritt für Schritt das Vorhersage Modell erzeugt und verbessert. Das Modell bzw. die Software wird so optimiert, dass sie aus den gemessenen Bilddaten die Art des Garguts bestimmen kann.
-
Die trainierten Informationen gehören z. B. zu verschiedenen Arten von Gargut (z. B. Schweineschnitzel, Schweinekotelett, Kalbsschnitzel, Lammkotelett usw.). Daraus wird jeweils ein Merkmalsvektor bestimmt. In einer besonders unaufwendigen Form werden dazu die zweidimensionalen pixelweisen Bilddaten spaltenweise untereinandergeschrieben. Bei einer Farbkamera liegen für jedes Pixel z. B. L *a*b*-Farbwerte vor. Das heißt, der Merkmalsvektor besteht aus einer Spalte von L *-Werten, gefolgt von allen a*-Werten, gefolgt von den b*-Werten. Wird eine 2D-Kamera verwendet, können z. B. Farbwerte und Helligkeit bestimmt werden oder es kann in einem Polardiagramm dargestellt werden, wie die Farben im Bild anteilig von der Häufigkeit ihres Auftretens verteilt sind. Letzteres ist schon eine Art der Datenvorverarbeitung.
-
Wenn die Information über die Gargutart nicht gleich zu Beginn erforderlich ist, sondern der Garvorgang schon läuft und weiter beobachtet werden kann, ergeben sich für die meisten Kameratypen sogenannte aktive Bereiche oder Konturen im Bild dadurch, dass das Lebensmittel durch Bräunung seine Farben verändert und durch Garen seine Form verändert, d. h. aufgeht, schrumpft oder schert. Damit kann erkannt werden, welche Pixel der Kamerabilder zum Gargut gehören. Die aktive Kontur ist dann die Grenzlinie zwischen Gargut und Umgebung. Dadurch können aus den Bildern Analysen erfolgen, die nur dem Gargut zuzuordnen sind, was sehr vorteilhaft ist.
-
Mit einer 2D-Digitalkmera können Formeigenschaften erkannt werden (Kotelett oder Kuchenform). Es ist bei Fleisch möglich zu erkennen, ob es einen Knochen enthält und welche Form der Knochen hat (Rippe oder Keule) oder wie groß das Stück ist (Lamm- oder Kalbsschnitzel). Mit 3D-Kameras kann die Geometrie des Stücks erfasst werden (flach, kugelig, elliptisch). Mit IR-Kameras kann das Verhalten gegenüber IR-Strahlung erfasst werden.
-
Diese Eigenschaften können durch eine spezielle Vorverarbeitung der Rohdaten erzeugt werden, bei der auch wiederum Methoden der Mustererkennung oder eigene neuronale Netze zur Erkennung dieser Eigenschaften verwendet werden. Die Ergebnisse dieser Vorverarbeitung werden dann, als Zahlen codiert, in den Merkmalsvektor geschrieben. Diese Zahl steht dann in einer Komponente (Dimension) des Merkmalsvektors. Die erkannten Eigenschaften stehen somit im Merkmalsvektor für das vorliegende Gargut.
-
Mit der Erfindung ist es möglich, auch die auch die Mikromorphologie, Mikrostruktur und Mikrofärbung der Lebensmitteloberfläche zu erfassen, zu charakterisieren und mit in den Merkmalsvektor zu integrieren, sodass eine erheblich bessere Klassifizierung durch das Modell erreicht wird. Insbesondere bei Gargut, das aus der Ferne ähnlich aussieht, wie z. B. bei verschiedenen Teigen oder verschiedenen rohen Fleischstücken, liefern die brennweitenspezifischen Aufnahmen wichtige Zusatzinformationen, ohne die eine eindeutige Zuordnung nicht möglich wäre. Es werden dabei Textureigenschaften ausgewertet, Faserungen (Längenverteilung, Dickenverteilungen (Fasern, Poren), Mikroformverteilungen (Poren, Fetteinlagerungen), Orientierungsverteilungen (Fasern), Maserungen und Fett-Muskelfaser Marmorierungen (Kategorien der Verästelungsstruktur), Porenstrukturen (Durchmesserverteilung, Formverteilung), die klassifiziert und identifiziert werden, indem die Ergebnisse in zusätzliche Dimensionen des Merkmalsvektors einfließen.
-
Bezugszeichenliste
-
- 1
- Gargerät
- 2
- Behandlungseinrichtung
- 3
- Kameraeinrichtung
- 4
- Verarbeitungseinrichtung
- 11
- Garbereich
- 12
- Steuereinrichtung
- 13
- Zoom-Objektiv
- 21
- Garraum
- 23
- Dual-Kamera
- 31
- Tür
- 33
- Autofokuseinrichtung
- 100
- Backofen
- 101
- Bedieneinrichtung
- 102
- Anzeigeeinrichtung
- 200
- Aufnahme
- 201
- Gruppe
- 202
- Merkmalsvektor
