DE102021211548A1 - System and method for automatic quality control of fruit and vegetables and other foodstuffs - Google Patents
System and method for automatic quality control of fruit and vegetables and other foodstuffs Download PDFInfo
- Publication number
- DE102021211548A1 DE102021211548A1 DE102021211548.9A DE102021211548A DE102021211548A1 DE 102021211548 A1 DE102021211548 A1 DE 102021211548A1 DE 102021211548 A DE102021211548 A DE 102021211548A DE 102021211548 A1 DE102021211548 A1 DE 102021211548A1
- Authority
- DE
- Germany
- Prior art keywords
- food
- machine learning
- thermographic
- learning model
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 235000012055 fruits and vegetables Nutrition 0.000 title claims abstract description 9
- 238000003908 quality control method Methods 0.000 title 1
- 235000013305 food Nutrition 0.000 claims abstract description 73
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 5
- 238000012372 quality testing Methods 0.000 claims abstract description 4
- 238000010801 machine learning Methods 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005253 cladding Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
- G07C3/14—Quality control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Mining
Abstract
Die Erfindung betrifft ein Verfahren und ein System (10) zur automatischen Qualitätsprüfung von Obst und Gemüse und anderen Lebensmitteln, aufweisend:
- eine erste Messstation (11), die entlang eines Transportpfades des Lebensmittels (16) positionierbar ist und die wenigstens einen Thermografiesensor (12) zum Erfassen von Thermografiedaten (T) des Lebensmittels (16) aufweist;
- eine zweite Messstation (13), die entlang des Transportpfades des Lebensmittels (16) positionierbar ist und wenigstens einen Kamerasensor (26) zum Erfassen von Bilddaten (B) des Lebensmittels (16) auf Basis elektromagnetischer Strahlung im sichtbaren Wellenlängenbereich umfasst;
- eine Ermittlungseinrichtung (15), die dazu eingerichtet ist, auf Basis der Thermografiedaten (T) und der Bilddaten (B) sowie mittels eines Maschinenlernmodellsystems (100) wenigstens eine von einem Reifegrad (R) und einer Haltbarkeit (H) des Lebensmittels (16) zu ermitteln.
The invention relates to a method and a system (10) for automatic quality testing of fruit and vegetables and other foods, having:
- A first measuring station (11) which can be positioned along a transport path of the food (16) and which has at least one thermographic sensor (12) for detecting thermographic data (T) of the food (16);
- A second measuring station (13) which can be positioned along the transport path of the food (16) and comprises at least one camera sensor (26) for capturing image data (B) of the food (16) on the basis of electromagnetic radiation in the visible wavelength range;
- a determination device (15) which is set up to determine at least one of a degree of ripeness (R) and a shelf life (H) of the foodstuff (16 ) to determine.
Description
Eine Herausforderung für die Lebensmittelindustrie besteht darin, die Qualität von Lebensmitteln zu sichern und die Lebensmittelverschwendung zu reduzieren. Es existieren zerstörungsfreie Prüfungsverfahren von Lebensmitteln, die es ermöglichen, Rückschlüsse auf die Qualität der Lebensmittel während ihres gesamten Lebenszyklus zu ziehen, ohne die Lebensmittel zum Beispiel zu zerschneiden oder öffnen zu müssen.A challenge for the food industry is to ensure food quality and reduce food waste. There are non-destructive testing methods for food that make it possible to draw conclusions about the quality of the food throughout its life cycle, without having to cut up or open the food, for example.
Die Untersuchung der Qualität von Lebensmitteln und insbesondere von landwirtschaftlichen Erzeugnissen kann jedoch aufwendig und/oder ungenau sein, da z.B. ein die Qualität bestimmender Reifeprozess durch die Interaktion vieler biochemischer und biophysikalischer Veränderungen bestimmt wird.However, examining the quality of food and especially agricultural products can be time-consuming and/or imprecise, since e.g. a quality-determining ripening process is determined by the interaction of many biochemical and biophysical changes.
So existieren mechanische Sortieranlagen, die in der Regel in ein Förderband integriert sind und die eine automatische Sortierung der landwirtschaftlichen Erzeugnisse auf Basis erfasster äußerer Eigenschaften wie Gewicht, Größe und Geometrie durchführen. Meist wird zur Erfassung dieser Eigenschaften ein System zum maschinellen Sehen bzw. ein Bildverarbeitungssystem eingesetzt und die Sortierung basiert auf einem Überschreiten oder nicht-Überschreiten vordefinierter Schwellenwerte der vorstehenden EigenschaftenThere are mechanical sorting systems that are usually integrated into a conveyor belt and that carry out automatic sorting of the agricultural products on the basis of recorded external properties such as weight, size and geometry. A system for machine vision or an image processing system is usually used to record these properties, and the sorting is based on whether or not predefined threshold values of the above properties are exceeded
Ein Beispiel eines existierenden Sortiersystems zum maschinellen Sehen findet sich in der
Die
Die Erfindung stellt sich demnach die Aufgabe, Qualitätsgrößen von Lebensmitteln zuverlässig und mit begrenztem Aufwand zu ermitteln.The object of the invention is therefore to determine the quality parameters of foods reliably and with limited effort.
Diese Aufgabe wird durch die Gegenstände der beigefügten unabhängigen Ansprüche gelöst, wobei vorteilhafte Ausführungsformen in den abhängigen Ansprüchen definiert sind.This object is solved by the subject matter of the appended independent claims, advantageous embodiments being defined in the dependent claims.
Insbesondere vorgeschlagen wird ein bevorzugt fest installiertes oder fest installierbares System zur automatischen Qualitätsprüfung von Obst und Gemüse und anderen Lebensmitteln, aufweisend:
- - eine erste Messstation, die entlang eines Transportpfades des Lebensmittels positioniert oder positionierbar ist und die wenigstens einen Thermografiesensor zum Erfassen von Thermografiedaten des Lebensmittels aufweist;
- - eine zweite Messstation, die entlang eines Transportpfades des Lebensmittels positioniert oder positionierbar ist und die wenigstens einen Kamerasensor zum Erfassen von Bilddaten des Lebensmittels auf Basis elektromagnetischer Strahlung im sichtbaren Wellenlängenbereich umfasst;
- - eine Ermittlungseinrichtung, die dazu eingerichtet ist, auf Basis der Thermografiedaten und der Bilddaten sowie mittels eines Maschinenlernmodellsystems (mit wenigstens einem Maschinenlernmodell) einen Reifegrad des Lebensmittels sowie wenigstens eine von einer Haltbarkeit und einem Zuckergehalt zu ermitteln.
- - a first measuring station which is positioned or can be positioned along a transport path of the food and which has at least one thermographic sensor for detecting thermographic data of the food;
- - a second measuring station which is positioned or can be positioned along a transport path of the food and which comprises at least one camera sensor for capturing image data of the food on the basis of electromagnetic radiation in the visible wavelength range;
- - A determination device which is set up to determine a degree of ripeness of the food and at least one of a shelf life and a sugar content on the basis of the thermographic data and the image data and by means of a machine learning model system (with at least one machine learning model).
Allgemein wird also ein multimodaler oder auch multisensorischer Ansatz vorgeschlagen, bei dem eine visuelle Bildgebung (d. h. eine Bildgebung basierend auf Wellenlängen im sichtbaren Bereich) in Verbindung mit (Infrarot-) Thermografie eingesetzt wird. Hiermit können bevorzugt in Echtzeit jegliche der hierin offenbarten Qualitätsgrößen und speziell der Reifegrad oder die Haltbarkeit bestimmt werden, was auch ein Erfassen innerer und/oder äußerer Defekte (insbesondere Oberflächendefekte) umfassen kann.In general, a multimodal or multisensory approach is proposed, in which visual imaging (i.e. imaging based on wavelengths in the visible range) is used in conjunction with (infrared) thermography. Any of the quality parameters disclosed herein and specifically the degree of ripeness or the shelf life can be determined hereby, which can also include detecting internal and/or external defects (in particular surface defects).
Durch die Anreicherung der erfassten Messinformationen mit Thermografiedaten (insbesondere in Form von Wärmebildern) können insbesondere physiologische Störungen oder Defekte erkannt werden, die mit existierenden Systemen des maschinellen Sehens nicht berücksichtigt werden. Weiter ermöglicht insbesondere der Einsatz eines Maschinenlernmodells eine verbesserte Inferenz- und Verallgemeinerungsfähigkeit sowie das Ermitteln bisher nicht erfasster Qualitätsgrößen, wie beispielsweise einer erwarteten Haltbarkeit oder geschmacklicher Größen basierend auf dem Zuckergehalt.By enriching the recorded measurement information with thermographic data (in particular in the form of thermal images), physiological disorders or defects in particular can be detected that are not taken into account with existing machine vision systems. Furthermore, the use of a machine learning model in particular enables improved inference and generalization capabilities as well as the determination of previously unrecorded quality variables, such as an expected shelf life or flavor variables based on the sugar content.
Die Vorhersage der Haltbarkeit ermöglicht eine bessere Planung innerhalb der Lieferkette. Beispielsweise kann dies bei einem Versand von insbesondere klimakterischen Früchten eine Ausfallwahrscheinlichkeit einer Charge reduzieren, bei der andernfalls reife und/oder beschädigte Früchte ein Verderben der gesamten Charge verursachen könnten.Shelf life prediction enables better planning within the supply chain. For example, this can be the case when shipping esp Special climacteric fruit reduce a batch failure probability where otherwise ripe and/or damaged fruit could cause spoilage of the entire batch.
Schließlich ermöglicht die Lösung einen wenig komplexen Aufbau sowie eine kurze Messzeit, was eine Integration und insbesondere feste Installation in automatischen Sortier- und Verpackungsanlagen vereinfacht.Finally, the solution enables a less complex structure and a short measurement time, which simplifies integration and, in particular, permanent installation in automatic sorting and packaging systems.
Das System kann fest in einer Sortier-, Verpackungs- oder einer allgemeinen industriellen Verarbeitungsanlage der Lebensmittel installiert sein. Es kann sich demnach um ein festinstalliertes System handeln, das zum Beispiel nicht für flexible und/oder lediglich temporäre Einsätze zum Beispiel außerhalb der genannten Anlagen vorgesehen ist. Weiter ist das System bevorzugt für einen automatischen Betrieb eingerichtet und kein manuell bedienbares System für eine manuell gesteuerte Lebensmittelprüfung. Beispielsweise weist das System bevorzugt keine handhaltbaren und/oder manuell beweglichen Teile auf, insbesondere keine handhaltbaren und/oder manuell beweglichen Teile, die Sensordaten der hierin offenbarten Art erfassen können.The system can be permanently installed in a food sorting, packaging or general industrial processing plant. It can therefore be a permanently installed system which, for example, is not intended for flexible and/or only temporary use, for example outside of the systems mentioned. Furthermore, the system is preferably set up for automatic operation and not a manually operable system for manually controlled food testing. For example, the system preferably has no hand-held and/or manually moveable parts, in particular no hand-held and/or manually moveable parts that can acquire sensor data of the type disclosed herein.
Die Messstationen sind bevorzugt räumlich getrennt und beispielsweise entlang eines Transportpfades der Lebensmittel voneinander beanstandet. Prinzipiell ist es aber auch möglich, dass die Messstationen räumlich überlappend angeordnet sind und/oder in einen gemeinsam räumlichen Bereich zum Beispiel entlang eines Förderbands integriert sind. Die genannte Überlappung oder Integration kann beispielsweise umfassen, dass sich die Erfassungsbereiche der jeweiligen Sensoren entsprechend überlappen und/oder zusammenfallen.The measuring stations are preferably spatially separated and spaced apart from one another, for example, along a transport path of the food. In principle, however, it is also possible for the measuring stations to be arranged in a spatially overlapping manner and/or to be integrated into a common spatial area, for example along a conveyor belt. Said overlapping or integration can include, for example, that the detection ranges of the respective sensors overlap and/or coincide accordingly.
Der Thermografiesensor kann eine Wärmebildkamera sein. Allgemein kann der Thermografiesensor dazu eingerichtet sein, als Thermografiedaten eine Strahlungsintensität von Infrarotstrahlung zu erfassen, die beispielsweise von dem zu überprüfenden Lebensmittel ausgeht. Die Thermografiedaten können in Form wenigstens eines Wärmebildes gespeichert werden.The thermographic sensor can be a thermal imaging camera. In general, the thermographic sensor can be set up to detect a radiation intensity of infrared radiation, which emanates from the food to be checked, for example, as thermographic data. The thermographic data can be stored in the form of at least one thermal image.
Bevorzugt ist der Thermografiesensorein aktiver Thermografiesensor, der eine Wärmequelle zum Beispiel in Form einer wärmestrahlenden Lampe umfasst (zum Beispiel eine Blitzlampe). In an sich bekannter Weise kann hierüber ein Wärmefluss und/oder eine Wärmeleitung einer mittels der Wärmequelle in das zu untersuchende Lebensmittel eingebrachten Wärme erfasst werden, indem wiederum Thermografiedaten der oben genannten Art ermittelt werden. Beispielsweise können anhand von Inhomogenitäten des Wärmeflusses Defekte, insbesondere innere Defekte, des Lebensmittels erkannt werden.Preferably, the thermographic sensor is an active thermographic sensor comprising a heat source, for example in the form of a heat radiating lamp (e.g. a flash lamp). In a manner known per se, a heat flow and/or a heat conduction of heat introduced into the food to be examined by means of the heat source can be detected by this, in that thermographic data of the type mentioned above are determined. For example, defects, in particular internal defects, in the foodstuff can be detected on the basis of inhomogeneities in the heat flow.
Die Bilddaten umfassen bevorzugt unterschiedliche Farbkanäle, insbesondere Pixelwerte für unterschiedliche Farbkanäle. Bevorzugt werden RGB-Farbkanäle erfasst (rot, grün, blau).The image data preferably includes different color channels, in particular pixel values for different color channels. RGB color channels (red, green, blue) are preferably recorded.
Bei der Ermittlungseinrichtung kann es sich um eine computerbasierte Steuereinrichtung handeln, die beispielsweise wenigstens einen Prozessor umfasst. Der Prozessor ist bevorzugt dazu eingerichtet, die erhaltenen Sensordaten (also die Thermografiedaten, die Bilddaten und jegliche anderen hierin erläuterten und an die Ermittlungseinrichtung übermittelten sensorischen Daten) gemäß jeglichem der hierin geschilderten Ansätze zu verarbeiten, insbesondere unter Verwendung des Maschinenlernmodellsystems. Beispielsweise kann die Ermittlungseinrichtung dazu eingerichtet sein, ein Computerprogramm und/oder Computeralgorithmen auszuführen, die das Maschinenlernmodellsystem implementieren.The determination device can be a computer-based control device which, for example, includes at least one processor. The processor is preferably set up to process the sensor data obtained (ie the thermographic data, the image data and any other sensory data explained herein and transmitted to the determination device) according to any of the approaches described herein, in particular using the machine learning model system. For example, the determination device can be set up to execute a computer program and/or computer algorithms that implement the machine learning model system.
Das Maschinenlernmodellsystem kann wenigstens ein künstliches neuronales Netz als Beispiel eines einzelnen Maschinenlernmodells umfassen. Allgemein kann es sich um einen Algorithmus und/oder zumindest einen Teil eines Computerprogramms handeln, der Verarbeitungsvorschriften definiert, um den Reifezustand und/oder die Haltbarkeit zu ermitteln. Insbesondere kann das Maschinenlernmodellsystem Zusammenhänge zwischen den Sensordaten (d.h. der Bild- und Thermografiedaten) und/oder darauf basierend erzeugter Eingangsdaten des Maschinenlernmodellsystems und dem Reifezustand und/oder der Haltbarkeit definieren. Diese Zusammenhänge können im Rahmen eines maschinellen Lernvorgangs erlernt werden. Dieser Lernvorgang (auch als Training bezeichnet) kann ein sogenannter supervised-Lernvorgang unter Verwendung von Trainingsdatensätzen sein, die verifizierte Zusammenhänge aus Sensordaten und dabei vorliegenden Qualitätsgrößen in Form des Reifzustandes und/oder der Haltbarkeit enthalten.The machine learning model system may include at least one artificial neural network as an example of a single machine learning model. In general, it can be an algorithm and/or at least part of a computer program that defines processing instructions in order to determine the state of ripeness and/or the shelf life. In particular, the machine learning model system can define relationships between the sensor data (i.e. the image and thermographic data) and/or input data of the machine learning model system generated based thereon and the state of maturity and/or the durability. These relationships can be learned as part of a machine learning process. This learning process (also referred to as training) can be a so-called supervised learning process using training data sets that contain verified relationships from sensor data and quality parameters that are present in the form of the state of ripeness and/or the shelf life.
Der Reifegrad kann in definierte Grade unterteilt sein, zum Beispiel in Untergruppen von reif, unreif, überreif. Die Haltbarkeit kann in einer definierten Zeiteinheit oder als ein maximales Datum angegeben werden, ab dem eine Haltbarkeit (bzw. Genießbarkeit) des Lebensmittels als nicht mehr gegeben angenommen wird.The degree of ripeness can be divided into defined grades, for example into subgroups of ripe, immature, overripe. The shelf life can be specified in a defined unit of time or as a maximum date from which the shelf life (or edibility) of the food is assumed to be no longer given.
Der Reifegrad und die Haltbarkeit können Beispiele von Ermittlungsergebnissen und/oder Qualitätsgrößen sein, die das Maschinenlernmodellsystem ermittelt. Sie können zum Beispiel mittels einer optionalen Anzeigeeinrichtung des Systems einem Benutzer angezeigt werden, beispielweise einem Benutzer, der eine das System umfassende Sortieranlage steuert und überwacht. Alternativ oder zusätzlich können die Ermittlungsergebnisse zum Erzeugen der nachstehenden Steuersignale für eine Sortiereinrichtung verwendet werden.The degree of maturity and the durability can be examples of determination results and/or quality variables that the machine learning model system determines. For example, by means of an optional display device of the system, you can Users are displayed, for example a user who controls and monitors a system-wide sorting system. Alternatively or additionally, the determination results can be used to generate the following control signals for a sorting device.
Die erste Messstation umfasst bevorzugt einen Bewegungsaktor zum Erzeugen einer Relativbewegung zwischen dem Thermografiesensor und dem Lebensmittel. Auf diese Weise kann das Lebensmittel von verschiedenen Seiten erfasst werden, beispielsweise von wenigstens zwei oder wenigstens vier Seiten. Gemäß einer Variante ist der Bewegungsaktor dazu eingerichtet, das Lebensmittel (bevorzugt aktiv) relativ zu dem (bevorzugt stillstehenden) Thermografiesensor zu rotieren. In jeder von einer Mehrzahl definierter Rotationsstellungen des Bewegungsaktors erfasst der Thermografiesensor vorzugsweise Thermografiedaten des Lebensmittels.The first measuring station preferably includes a movement actuator for generating a relative movement between the thermographic sensor and the food. In this way, the food can be grasped from different sides, for example from at least two or at least four sides. According to one variant, the movement actuator is set up to rotate the food (preferably actively) relative to the (preferably stationary) thermographic sensor. In each of a plurality of defined rotational positions of the motion actuator, the thermographic sensor preferably captures thermographic data of the food.
Die erste Messstation kann auch den nachstehend erläuterten Umgebungssensor umfassen.
Die zweite Messstation umfasst bevorzugt eine Abschirmungseinrichtung zum zumindest teilweisen Abschirmen des Lebensmittels gegenüber Umgebungslicht während einer Erfassung durch den Kamerasensor. Beispielsweise kann es sich um eine lichtundurchlässige Verkleidung handeln (genauer gesagt: undurchlässig für Licht im sichtbaren Wellenlängenbereich). Die Verkleidung kann einen Auflagebereich für das Lebensmittel, in dem das Lebensmittel für ein Erfassen durch den Kamerasensor positioniert ist, zumindest teilweise umgeben. Der Erfassungsbereich des Kamerasensors kann den Auflagebereich einschließen und/oder zumindest teilweise innerhalb der Verkleidung liegen. Allgemein kann die Verkleidung Öffnungen für ein Einführen und/oder Ausführen des Lebensmittels sowie, zusätzlich oder alternativ, für den Kamerasensor umfassen, damit dieser das Lebensmittel erfassen kann.The first measurement station may also include the environmental sensor discussed below.
The second measuring station preferably includes a shielding device for at least partially shielding the foodstuff from ambient light during detection by the camera sensor. For example, it can be an opaque cladding (to be more precise: impermeable to light in the visible wavelength range). The liner may at least partially surround a food support area in which the food is positioned for detection by the camera sensor. The detection range of the camera sensor can enclose the contact area and/or lie at least partially within the covering. In general, the casing can include openings for introducing and/or removing the food and, additionally or alternatively, for the camera sensor so that it can capture the food.
Allgemein kann die Verkleidung das Vorliegen definierter und bevorzugt konstanter Lichtbedingungen fördern, was für eine Auswertung der Bilddaten vorteilhaft ist.In general, the cladding can promote the presence of defined and preferably constant light conditions, which is advantageous for an evaluation of the image data.
Die erste Messstation kann optional ebenfalls einen Bewegungsaktor der vorstehend geschilderten Art umfassen. Dieser kann dazu eingerichtet sein, eine Relativbewegung zwischen dem Thermografiesensor und dem Lebensmittel zu erzeugen insbesondere Letzteres von verschiedenen Seiten zu erfassen. Gemäß einer Variante ist der Bewegungsaktor dazu eingerichtet, das Lebensmittel (bevorzugt aktiv) relativ zu dem (bevorzugt stillstehenden) Thermografiesensor zu rotieren. In jeder aus einer Mehrzahl definierter Rotationsstellungen des Bewegungsaktors erfasst der Kamerasensor vorzugsweise Thermografiedaten des Lebensmittels.The first measuring station can optionally also include a movement actuator of the type described above. This can be set up to generate a relative movement between the thermographic sensor and the food, in particular to detect the latter from different sides. According to one variant, the movement actuator is set up to rotate the food (preferably actively) relative to the (preferably stationary) thermographic sensor. In each of a plurality of defined rotational positions of the motion actuator, the camera sensor preferably captures thermographic data of the food.
Alternativ oder zusätzlich zu den erwähnten optionalen Bewegungsaktoren der ersten und zweiten Messstation können diese Messstationen jeweils eine Mehrzahl von Thermografiesensoren bzw. Kamerasensoren umfassen. Diese können derart angeordnet sein, dass sie bevorzugt ohne das Erzeugen einer zusätzlichen Relativbewegung (d. h. zusätzlich zu einer Transportbewegung des Lebensmittels in die und aus der Messstation) zwischen dem Lebensmittel und dem Sensor das Lebensmittel von verschiedenen Seiten erfassen können.As an alternative or in addition to the mentioned optional movement actuators of the first and second measurement station, these measurement stations can each include a plurality of thermographic sensors or camera sensors. These can be arranged in such a way that they can detect the food from different sides preferably without generating an additional relative movement (i.e. in addition to a transport movement of the food into and out of the measuring station) between the food and the sensor.
Die Bilddaten und/oder die Thermografiedaten werden bevorzugt vorverarbeitet, bevor sie als Eingangsgrößen dem Maschinenlernmodellsystem zugeführt werden oder bevor derartige Eingangsgrößen aus den Bilddaten und/oder Thermografiedaten ermittelt werden.The image data and/or the thermographic data are preferably pre-processed before they are supplied to the machine learning model system as input variables or before such input variables are determined from the image data and/or thermographic data.
Im Fall der Bilddaten kann die Vorverarbeitung wenigstens eine der folgenden Maßnahmen umfassen:
- - ein Beschneiden der Bilddaten (insbesondere eines jeweiligen hiervon definierten Bildes) auf einen definierten Interessensbereich (engl.: Region of Interest). Hierfür kann zunächst eine Segmentierung des Bildes und/oder Identifizierung von wenigstens einem das Lebensmittel enthaltenen Bildsegments erfolgen. Diese Segmentierung und/oder allgemein das Beschneiden kann mittels des Maschinenlernmodells erfolgen werden.
- - Die Bildgröße kann, insbesondere nachfolgend auf ein Beschneiden, mittels einer bevorzugt bikubischen Interpolation neu berechnet werden, was die benötigte Zeit für eine Auswertung durch das Maschinenlernmodellsystem reduziert.
- - Die einzelnen Farbkanäle (insbesondere RGB-Farbkanäle) können normalisiert werden, was eine gleichartige Auswertung der einzelnen Kanäle durch das Maschinenlernmodellsystem verbessert.
- - cropping of the image data (in particular of a respective image defined thereby) to a defined region of interest. For this purpose, the image can first be segmented and/or at least one image segment containing the food can be identified. This segmentation and/or trimming in general can be done using the machine learning model.
- - The image size can be recalculated, in particular following a cropping, by means of a preferably bicubic interpolation, which reduces the time required for an evaluation by the machine learning model system.
- - The individual color channels (particularly RGB color channels) can be normalized, which improves the uniform evaluation of the individual channels by the machine learning model system.
Im Fall der Thermografiedaten kann die Vorverarbeitung wenigstens eine der folgenden Maßnahmen umfassen:
- - Die Thermografiedaten können frequenztransformiert werden (genauer gesagt von dem Zeitbereich in den Frequenzbereich transformiert werden), vorzugsweise mittels einer eindimensionalen diskreten Fouriertransformation (DFT). Dies kann das Ausmaß redundanter Informationen innerhalb der Bilddaten reduzieren, die beispielsweise durch Absorptionen oder Reflexionen hervorgerufen werden.
- - Die Thermografiedaten, insbesondere ein hiervon definiertes und optional frequenztransformiertes Wärmebild, können per Kontrastspreizung (engl.: contrast stretching) bearbeitet werden. Anschließend kann eine Normalisierung und/oder Neuberechnung der Größe des Wärmebildes erfolgen.
- - The thermographic data can be frequency transformed (more precisely transformed from the time domain to the frequency domain), preferably by means of a one-dimensional Discrete Fourier Transform (DFT). This can reduce the amount of redundant information within the image data that are caused, for example, by absorption or reflection.
- - The thermographic data, in particular a thermal image defined by it and optionally frequency-transformed, can be processed by contrast stretching. The size of the thermal image can then be normalized and/or recalculated.
Gemäß einer Weiterbildung sind die erste und zweite Messstation räumlich getrennt (d.h. in einem Abstand zueinander positioniert) und vorzugsweise durch eine Transporteinrichtung (z.B. ein Förderband) für den automatischen Transport des Lebensmittels zwischen den Messstationen verbunden.According to a development, the first and second measuring stations are spatially separated (i.e. positioned at a distance from one another) and preferably connected by a transport device (e.g. a conveyor belt) for the automatic transport of the foodstuff between the measuring stations.
Das System umfasst gemäß einer Ausführungsform auch eine Sortiereinrichtung, die dazu eingerichtet ist, die Lebensmittel auf Basis des Ermittlungsergebnisses der Ermittlungseinrichtung automatisch zu sortieren, insbesondere aus einem Haupt-Transportpfad auszusortieren. Beispielsweise kann die Ermittlungseinrichtung Steuersignale oder Steueranweisungen erzeugen, die die Sortiereinrichtung veranlassen, eine geeignete Sortierung und insbesondere eine selektive Aussortierung vorzunehmen. Die Sortiereinrichtung kann wenigstens einen Aktor aufweisen, mit dem das zum Sortieren Lebensmittel bewegbar ist, beispielsweise durch Entfernen von einem Förderband. Alternativ oder zusätzlich kann eine Sortierung zumindest zunächst dadurch erfolgen, dass die Sortiereinrichtung das Lebensmittel geeignet markiert (beispielsweise durch einen computerlesbaren Marker, wie einen Barcode oder einer an dem Produkt oder einer mit dem Produkt evrsehenen Palette angebrachten RFID-Tag (radio frequency identification)). Mittels einer solchen Markierung können die Lebensmittel in unterschiedliche Klassen eingeteilt und somit sortiert werden. So kann der RFID-Tag beispielsweise Informationen über die vorhergesagte Produktkategorie und zugleich eine zusätzliche Information wie zum Beispiel den Zuckergehalt (Brix-Wert) bei Früchten oder den Fettanteil in Fisch oder Fleisch enthalten.According to one embodiment, the system also includes a sorting device which is set up to automatically sort the groceries on the basis of the determination result of the determination device, in particular to sort them out of a main transport path. For example, the determination device can generate control signals or control instructions that cause the sorting device to carry out a suitable sorting and in particular a selective sorting out. The sorting device can have at least one actuator with which the foodstuff can be moved for sorting, for example by removing it from a conveyor belt. Alternatively or additionally, sorting can take place at least initially by the sorting device marking the food in a suitable manner (for example using a computer-readable marker such as a barcode or an RFID tag (radio frequency identification) attached to the product or a pallet provided with the product). . By means of such a marking, the foodstuffs can be divided into different classes and thus sorted. For example, the RFID tag can contain information about the predicted product category and at the same time additional information such as the sugar content (Brix value) of fruit or the fat content of fish or meat.
Gemäß einem optionalen Aspekt umfasst das System wenigstens einen Umgebungssensor zum Erfassen wenigstens einer Umgebungsgröße, vorzugsweise der Temperatur oder der Luftfeuchtigkeit, wobei die Ermittlungseinrichtung dazu eingerichtet ist, die Umgebungsgröße als eine Hilfsvariable oder „auxiliary variable“ für das Maschinenlernmodellsystem zu verwenden. Diese Hilfsvariable wird typischerweise nach der Komprimierung der Information der akustischen Signale verwendet, in der Regel entweder nach einer „Global Average Pooling“ oder „Flattening Layer“. Die Verknüpfung der Hilfsvariable mit den extrahierten Informationen der akustischen Signale erfolgt bei uns durch eine Konkatinierung, kann aber auch durch andere Operationen wie „Add“, „Merge“ oder „Dot“ erfolgen.According to an optional aspect, the system comprises at least one environmental sensor for detecting at least one environmental variable, preferably the temperature or the humidity, the determination device being set up to use the environmental variable as an auxiliary variable for the machine learning model system. This auxiliary variable is typically used after the acoustic signal information has been compressed, typically either after a global average pooling or flattening layer. The linking of the auxiliary variable with the extracted information of the acoustic signals is done by concatenation, but can also be done by other operations such as "Add", "Merge" or "Dot".
Der Umgebungssensor kann alternativ als atmosphärischer Sensor und die Umgebungsgröße kann alternativ als atmosphärische Größe bezeichnet werden. Der Umgebungssensor kann ein Thermo-Hygrometer sein.The environmental sensor can alternatively be referred to as an atmospheric sensor and the environmental variable can alternatively be referred to as an atmospheric variable. The environmental sensor can be a thermo-hygrometer.
Gemäß einer Ausführungsform erfasst ein Erfassungsbereich des Kamerasensors das Lebensmittel zumindest teilweise von oberhalb oder, mit anderen Worten, ist der Erfassungsbereich für eine solche Erfassung von oberhalb ausgerichtet. Der Begriff „oberhalb“ bezieht sich dabei vorzugsweise auf eine vertikale Raumachse entlang derer die Gravitationskraft wirkt. Das Lebensmittel kann oder die Lebensmittel können zum Beispiel in einem Auflagebereich für eine Erfassung positioniert sein, während der Kamerasensor oberhalb des Auflagebereichs angeordnet und der Erfassungsbereich auf den Auflagebereich gerichtet ist. Es hat sich gezeigt, dass ein oberer Bereich besonders bei Obst- und Gemüse, Bildinformationen liefert, mit denen zuverlässig auf den Reifegrad und/oder die Haltbarkeit geschlossen werden kann.According to one embodiment, a detection area of the camera sensor captures the food at least partially from above or, in other words, the detection area is aligned for such a detection from above. The term "above" preferably refers to a vertical spatial axis along which the gravitational force acts. For example, the food item(s) may be positioned in a support area for detection while the camera sensor is positioned above the support area and the detection area is directed towards the support area. It has been shown that an upper range, particularly in the case of fruit and vegetables, provides image information with which the degree of ripeness and/or the shelf life can be reliably inferred.
Insbesondere kann dieser Bereich eine sogenannte Abzissionszone und/oder den Bereich eines Stils umfassen, mittels der/dem das Obst oder Gemüse mit der tragenden Pflanze verbunden ist bzw. war. In diesem Bereich sind insbesondere visuelle Merkmale erfassbar, die den obigen Rückschluss zuverlässig ermöglichen.In particular, this area may comprise a so-called abcission zone and/or the area of a style by which the fruit or vegetable is/was attached to the supporting plant. In this area, in particular, visual features can be detected that reliably allow the above conclusion.
Bevorzugt ist die Ermittlungseinrichtung ferner dazu eingerichtet, mittels des Maschinenlernmodellsystems einen Zuckergehalt des Lebensmittels zu ermitteln. Es hat sich gezeigt, dass insbesondere auf Basis der Thermografiedaten von Obst und Gemüse diese Eigenschaft aussagekräftig ermittelbar ist. Über den Zuckergehalt kann zumindest mittelbar auf den Geschmack oder das Aroma des Lebensmittels geschlossen werden und können darauf basierend Sortierungen vorgenommen werden. Dies ist mit bisherigen und rein auf visuellen Eigenschaften basierenden Sortierungen nicht möglich.The determination device is preferably also set up to determine a sugar content of the food by means of the machine learning model system. It has been shown that this property can be meaningfully determined, especially on the basis of the thermographic data of fruit and vegetables. The taste or aroma of the food can be inferred at least indirectly from the sugar content and sorting can be carried out based on this. This is not possible with previous sorting based purely on visual properties.
Gemäß einer bevorzugten weiteren Ausführungsform umfasst das Maschinenlernmodellsystem wenigstens ein Convolutional Neural Network (kurz: CNN, deutsch: faltendes neuronales Netzwerk), welches sowohl den Reifegrad als auch die Haltbarkeit ermittelt. Aufgrund des Ermittelns dieser beiden Eigenschaften kann auch von einem Multi-Task CNN gesprochen werden. Bevorzugt erhält dieses als Bild-Eingangsdaten die Bilddaten des Kamerasensors als auch die Thermografiedaten, die einem Wärmebild entsprechen können. Das CNN kann gemäß einem sogenannten hard-parameter-sharing Ansatz trainiert sein, was in einem Teilen von wenigstens einer verborgenen Schicht (engl.: hidden layer) durch die Tasks resultieren kann. Anders ausgedrückt können die Bild-Eingangsdaten zunächst wenigstens einer gemeinsamen Schicht des CNN zugeführt werden, auf die vorzugweise jeweils wenigstens eine taskspezifische Schicht folgen kann. Ein erstes Task (bzw. eine erste Aufgabe) kann das Ermitteln des Reifegrads betreffen, ein zweites Task ein Ermitteln der Haltbarkeit. Mittels des hard-parameter-sharing Ansatzes kann das Risiko einer Überbestimmung (engl.: overfitting) reduziert werden.According to a preferred further embodiment, the machine learning model system comprises at least one convolutional neural network (CNN for short, German: convolutional neural network), which determines both the degree of maturity and the durability. Due to the determination of these two properties, one can also speak of a multi-task CNN. This preferably receives the image data of the camera as image input data sensors as well as the thermographic data, which can correspond to a thermal image. The CNN can be trained according to a so-called hard-parameter-sharing approach, which can result in sharing of at least one hidden layer by the tasks. In other words, the image input data can first be supplied to at least one common layer of the CNN, which can preferably be followed by at least one task-specific layer. A first task (or a first task) can relate to determining the degree of maturity, a second task to determining durability. Using the hard-parameter-sharing approach, the risk of over-determination (overfitting) can be reduced.
Gemäß einer weiteren Variante ist das Maschinenlernmodellsystem dazu eingerichtet, zum Ermitteln des Reifegrads einen Klassifikationsvorgang durchzuführen und/oder zum Ermitteln der Haltbarkeit einen Regressionsvorgang durchzuführen. Insbesondere können die jeweiligen Ermittlungstasks von einem Multi-Task-Maschinenlernmodell (zum Beispiel in Form eines CNN der obigen Art) diese Vorgänge ausführen, wobei die Tasks in dem Ermitteln des Reifegrads und dem Ermitteln der Haltbarkeit bestehen.According to a further variant, the machine learning model system is set up to carry out a classification process to determine the degree of maturity and/or to carry out a regression process to determine durability. In particular, the respective determination tasks of a multi-task machine learning model (e.g. in the form of a CNN of the above type) can perform these operations, the tasks being determination of maturity level and determination of durability.
Ferner offenbart wird ein Verfahren zur Qualitätsprüfung von Obst und Gemüse und anderen Lebensmitteln, wobei das Verfahren mittels einem System gemäß einem der vorangehenden Aspekte ausgeführt wird und umfasst:
- - Erfassen von Thermografiedaten des Lebensmittels mittels der ersten Messstation;
- - Erfassen von Bilddaten des Lebensmittels auf Basis elektromagnetischer Strahlung im sichtbaren Wellenlängenbereich mittels der zweiten Messstation;
- - Ermitteln auf Basis der Thermografiedaten und der Bilddaten sowie mittels eines Maschinenlernmodellsystems wenigstens eine von einem Reifegrad und einer Haltbarkeit des Lebensmittels.
- - Acquisition of thermographic data of the food by means of the first measuring station;
- - Acquisition of image data of the food based on electromagnetic radiation in the visible wavelength range by means of the second measuring station;
- - Determine on the basis of the thermographic data and the image data and by means of a machine learning model system at least one of a degree of maturity and a shelf life of the food.
Das Verfahren kann jeglichen weiteren Schritt umfassen, um sämtliche in dem Zusammenhang mit dem System geschilderten Betriebszustände und/oder Funktionen bereitzustellen. Beispielsweise kann ein Schritt des Ausführens des Maschinenlernmodellsystems mittels eines Prozessors der Ermittlungseinrichtung und/oder ein Schritt eines bevorzugt automatischen Transportierens des Lebensmittels zwischen den Messstationen vorgesehen sein.The method can include any further step in order to provide all operating states and/or functions described in connection with the system. For example, a step of executing the machine learning model system by means of a processor of the determination device and/or a step of preferably automatically transporting the foodstuff between the measuring stations can be provided.
Bevorzugt umfasst das Maschinenlernmodellsystem wenigstens ein Convolutional Neural Network der vorstehend geschilderten Art, welches sowohl den Reifegrad als auch die Haltbarkeit ermittelt, und das Verfahren ist ferner gekennzeichnet durch:
- - Trainieren des Convolutional Neural Network auf Basis eines hard-parameter-sharing Ansatzes.
- - Training of the convolutional neural network based on a hard-parameter-sharing approach.
Das Verfahren ist typischerweise mit dem beschriebenen System durchführbar bzw. das beschriebene System ist zum Durchführen des beschriebenen Verfahrens eingerichtet.The method can typically be carried out with the system described or the system described is set up to carry out the method described.
Die Erfindung betrifft vorzugsweise auch ein Computerprogrammprodukt mit einem Computerprogramm, das Softwaremittel zum Durchführen des beschriebenen Verfahrens oder zum Steuern des beschriebenen Systems aufweist, wenn das Computerprogramm in einem Automatisierungssystem bzw. durch eine Recheneinheit ausgeführt wird.The invention preferably also relates to a computer program product with a computer program that has software means for carrying out the method described or for controlling the system described when the computer program is executed in an automation system or by a computing unit.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand der beigefügten schematischen Figuren erläutert. Figurenübergreifend können für gleichartige oder gleichwirkende Merkmale die gleichen Bezugszeichen verwendet werden.
-
1 zeigt den Aufbau eines Systems gemäß einem Ausführungsbeispiel der Erfindung, wobei das System ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung ausführt; -
2 zeigt eine Prinzipdarstellung eines Maschinenlernmodellsystems, das von dem System aus1 ausgeführt wird.
-
1 shows the structure of a system according to an embodiment of the invention, wherein the system executes a method according to an embodiment of the invention; -
2 shows a schematic diagram of a machine learning model system derived from the system1 is performed.
Das System 10 umfasst eine erste Messstation 11 mit einem Thermografiesensor 12 in Form einer Wärmebildkamera. Ferner umfasst es eine zweite Messstation 13 mit einem Kamerasensor 26 für Erfassungen des Lebensmittels 16 im sichtbaren Wellenlängenbereich.The
Die erste und zweite Messstation 11, 13 sind über eine Transporteinrichtung 24 in Form eines automatischen Förderbandes miteinander verbunden, wobei die Transporteinrichtung 24 lediglich schematisch durch einen Blockpfeil dargestellt ist. Das System 10 umfasst auch eine Sortiereinrichtung 34, zu der das Lebensmittel 16 nach Durchlaufen der beiden Messstationen 11, 13 mittels einer gleichartigen Transporteinrichtung 24 transportierbar ist. Ein Transportpfad des Lebensmittels 16 verläuft entsprechend durch die Messstationen 11, 13 zu der Sortiereinrichtung 34.The first and second measuring
Schließlich umfasst das System 10 auch eine Ermittlungseinrichtung 15, die Sensordaten des Thermografiesensors 12 in Form von Thermografiedaten T und Bilddaten B des Kamerasensors 26 erhält. Die Ermittlungseinrichtung 15 gibt Steuerdaten S an die Sortiereinrichtung 34 aus.Finally, the
Das Lebensmittel 16 gelangt automatisch in die erste Messstation 11 mittels einer nicht gesondert dargestellten Transporteinrichtung, die analog zu den Transporteinrichtung 24 aus
Dabei ist der Thermografiesensor 12 im gezeigten Beispiel ein aktiver Thermografiesensor 12, der mittels einer Blitzlampe 14 zunächst einen Wärmeeintrag in das Lebensmittel 16 erzeugt und anschließend den Wärmefluss im Lebensmittel 16 erfasst.In this case, the
Optional umfasst die erste Messstation 11 auch einen Umgebungssensor 22 in Form eines Thermo-Hygrometers. Hiervon erfasste Umgebungsdaten (die Temperatur und die Luftfeuchtigkeit) können ebenfalls an die Ermittlungseinrichtung 15 übermittelt und dort als Hilfsvariablen eines von der Ermittlungseinrichtung 15 ausgeführten Maschinenlernmodells 102 verwendet werden.Optionally, the first measuring
In der zweiten Messstation 13 wird das Lebensmittel 16 lediglich beispielhaft frontal oder, mit anderen Worten, in einer Seitenansicht von dem Kamerasensor 26 erfasst. Erneut kann das Lebensmittel 16 dabei in einem Auflagebereich 18 positioniert sein, der mittels eines Bewegungsaktors 20 relativ zu dem bevorzugt feststehenden Kamerasensor 26 bewegbar ist.In the second measuring
Gemäß einer bevorzugten nicht dargestellten Alternative erfasst der Kamerasensor 26 das Lebensmittel 16 von oberhalb, beispielsweise sodass eine optische Achse hiervon gemäß dem Pfeil 16 in
Die zweite Messstation 13 umfasst bevorzugt auch eine Verkleidung 30, um das Lebensmittel 16 bzw. den Auflagebereich 18 zumindest teilweise gegenüber Umgebungslicht abzuschirmen. Nicht gesondert dargestellt sind Zugangsöffnungen für ein Einführen und Ausführen des Lebensmittels 16 in und aus der Verkleidung 30. Innerhalb der Verkleidung 30 ist vorzugsweise auch ein gegenüberliegend zum Kamerasensor positioniertes Hintergrundelement 32 positioniert, beispielsweise eine Hintergrundplatte. Diese verbessert eine Gleichmäßigkeit der Aufnahmebedingungen und somit beispielsweise eine von der Ermittlungseinrichtung 15 durchgeführte Segmentierung der Bilddaten. Diese Segmentierung kann ein Identifizieren und/oder Herausfiltern von Bildpixeln umfassen, die das Lebensmittel 16 abbilden, und kann mittels eines Maschinenlernmodells erfolgen.The
Die Sortiereinrichtung 34 kann jegliche in dem allgemeinen Beschreibungsteil erläuterten Sortiervarianten bereitstellen. Für das zuvor in den Messstationen 11, 13 erfasste Lebensmittel 16 kann die Ermittlungseinrichtung 15 auf Basis der ermittelten Qualitätsgrößen der Haltbarkeit H und des Reifegrads S entscheiden, ob das Lebensmittel 16 von der Sortiereinrichtung 34 aussortiert werden soll oder nicht, und entsprechend erzeugte Steuersignale S an die Sortiereinrichtung 34 ausgeben.The sorting
Das CNN 102 ist ein Multi-Task-CNN 102, dass für die Aufgaben bzw. Tasks des Ermittelns eines Reifegrads R und der Haltbarkeit H des Lebensmittels 16 trainiert ist. Das Training erfolgt überwacht oder, mit anderen Worten, als ein überwachter Lernvorgang. Dabei werden verifizierte Datensätze verwendet, die Thermografiedaten T, Bilddaten B sowie dabei jeweils vorliegende Haltbarkeiten H und Reifegrade R eines zu prüfenden Lebensmittels 16 umfassen.The CNN 102 is a multi-task CNN 102 that is trained for the tasks of determining a degree of ripeness R and the shelf life H of the
Das CNN 102 umfasst eine Mehrzahl von geteilten verborgenen Schichten 104, deren genaue Zahl beliebig ist (angedeutet durch Punkte in
Wenn diese Qualitätsgrößen, für sich genommen oder in Kombination, ein vorbestimmtes Aussortierkriterium erfüllen, erzeugt die Ermittlungseinrichtung 15 entsprechende Steuersignale S für ein Aussortieren des Lebensmittels 16 durch die Sortiereinrichtung 34.If these quality variables, individually or in combination, meet a predetermined sorting criterion,
Nicht gesondert dargestellt ist, dass die Thermografiedaten T und Bilddaten B bevorzugt in der Ermittlungseinrichtung 15 auch gemäß jeglichen hierin geschilderten Varianten vorverarbeitet werden können.It is not shown separately that the thermographic data T and image data B can preferably also be preprocessed in the
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- WO 2021037417 A1 [0004]WO 2021037417 A1 [0004]
- EP 0620051 A1 [0004]EP 0620051 A1 [0004]
- EP 3589939 A1 [0005]EP 3589939 A1 [0005]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22190769.4A EP4137813A1 (en) | 2021-08-20 | 2022-08-17 | System and method for the automatic quality testing of fruit and vegetables and other foodstuffs |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021209199 | 2021-08-20 | ||
DE102021209199.7 | 2021-08-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021211548A1 true DE102021211548A1 (en) | 2023-02-23 |
Family
ID=85132308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021211548.9A Ceased DE102021211548A1 (en) | 2021-08-20 | 2021-10-13 | System and method for automatic quality control of fruit and vegetables and other foodstuffs |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021211548A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0620051A1 (en) | 1993-04-16 | 1994-10-19 | Materiel Pour L'arboriculture Fruitiere (M.A.F.) S.A. | Method and device for automatic sorting of products, especially of fruit or vegetables |
CN102818777A (en) | 2012-08-24 | 2012-12-12 | 北京农业智能装备技术研究中心 | Fruit maturity degree evaluation method based on spectrum and color measurement |
US20180252691A1 (en) | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
US20200281122A1 (en) | 2017-09-05 | 2020-09-10 | Cottlab Ltd. | Self-propelled robotic harvester for selective picking of high quality agriculture row crops |
WO2021037417A1 (en) | 2019-08-30 | 2021-03-04 | Ets Dubrulle | Sorting device for agricultural products and corresponding method |
-
2021
- 2021-10-13 DE DE102021211548.9A patent/DE102021211548A1/en not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0620051A1 (en) | 1993-04-16 | 1994-10-19 | Materiel Pour L'arboriculture Fruitiere (M.A.F.) S.A. | Method and device for automatic sorting of products, especially of fruit or vegetables |
CN102818777A (en) | 2012-08-24 | 2012-12-12 | 北京农业智能装备技术研究中心 | Fruit maturity degree evaluation method based on spectrum and color measurement |
US20180252691A1 (en) | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
EP3589939A1 (en) | 2017-03-01 | 2020-01-08 | MAF Agrobotic S.A.S. | Fruit or vegetable optical analysis method and device and automatic sorting device |
US20200281122A1 (en) | 2017-09-05 | 2020-09-10 | Cottlab Ltd. | Self-propelled robotic harvester for selective picking of high quality agriculture row crops |
WO2021037417A1 (en) | 2019-08-30 | 2021-03-04 | Ets Dubrulle | Sorting device for agricultural products and corresponding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1980839B1 (en) | Inspection device for food and its use | |
ElMasry et al. | Meat quality evaluation by hyperspectral imaging technique: an overview | |
EP3560185B1 (en) | System and method for capturing measurement images of an object to be measured | |
EP2923305B1 (en) | Method for scoring and controlling quality of food products in a dynamic production line | |
Mahendran et al. | Application of computer vision technique on sorting and grading of fruits and vegetables | |
DE69637172T2 (en) | HIGH-SPEED SORTING APPARATUS FOR FOOD TRANSPORT FOR THE OPTICAL INSPECTION AND SORTING OF LARGE VOLUME FOODS | |
Bennedsen et al. | Performance of a system for apple surface defect identification in near-infrared images | |
EP3401411B1 (en) | Method and apparatus for detecting defect sites in flexible bodies, in particular animal skins | |
DE69533238T2 (en) | METHOD AND DEVICE FOR THE AUTOMATIC EVALUATION OF CEREAL GRAINS | |
JP2019211288A (en) | Food testing system and program | |
EP3594666A1 (en) | Artificial intelligence-based leather inspection method and leather product production method | |
DE112008001839T5 (en) | Tester and test method using penetrating radiation | |
DE102018202051A1 (en) | Automatic lens inspection apparatus and method for automatically inspecting a plurality of lenses | |
EP2605212A2 (en) | Method and apparatus for optically testing of objects to be tested in the production and/or packaging of cigarettes | |
Sola-Guirado et al. | A smart system for the automatic evaluation of green olives visual quality in the field | |
Chao et al. | LINE‐SCAN SPECTRAL IMAGING SYSTEM FOR ONLINE POULTRY CARCASS INSPECTION | |
US20220323997A1 (en) | Devices, systems and methods for sorting and labelling food products | |
DE102016100134A1 (en) | A method and apparatus for inspecting an object using machine vision | |
DE102021211548A1 (en) | System and method for automatic quality control of fruit and vegetables and other foodstuffs | |
EP4137813A1 (en) | System and method for the automatic quality testing of fruit and vegetables and other foodstuffs | |
WO2023148692A1 (en) | Method and device for determining whether an oilseed, a nut, in particular a hazelnut, or a seed is rancid | |
DE102006060741A1 (en) | Method and device for the optical inspection of objects | |
Díaz | Classification and quality evaluation of table olives | |
Szwedziak | Artificial neural networks and computer image analysis in the evaluation of selected quality parameters of pea seeds | |
DE102021211546A1 (en) | Process and system for manual quality control of fruit and vegetables and other foodstuffs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |