DE102019123479B3

DE102019123479B3 - Analyse und Qualitätskontrolle von Lebensmitteln

Info

Publication number: DE102019123479B3
Application number: DE102019123479.4A
Authority: DE
Inventors: Jan Makowski
Original assignee: Luxflux GmbH
Current assignee: Luxflux GmbH
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2020-11-26
Anticipated expiration: 2039-09-03

Abstract

Die vorliegende Offenbarung betrifft ein System (1) zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln (2), mit einer Hyperspektralkamera (10) zur Aufnahme von hyperspektralen Bilddaten (11); einer Datenverarbeitungseinrichtung (20) zum Verarbeiten der hyperspektralen Bilddaten, wobei die Datenverarbeitungseinrichtung eingerichtet ist zum: Empfangen von hyperspektralen Bilddaten (S101); Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten (S102); Bestimmen einer zweiten spektralen Signatur auf Basis der hyperspektralen Bilddaten (S103); Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur (S104); und Erzeugen eines Falschfarbenbildes (21) basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur (S105); und einer Anzeigeeinrichtung (30) eingerichtet zum Anzeigen des Falschfarbenbildes.

Description

Die vorliegende Offenbarung betrifft ein System zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln, mit einer Hyperspektralkamera. Die Erfindung betrifft ferner eine Vorrichtung zum Verarbeiten von hyperspektralen Bilddaten, sowie ein entsprechendes Verfahren.
Ein Problem der Lebensmittelindustrie besteht darin, dass jedes Jahr werden sehr große Mengen Lebensmittel weggeworfen werden. Es wäre wünschenswert verdorbene Lebensmittel frühzeitig und zuverlässig zu erkennen. Einerseits, um noch gute Lebensmittel nicht unnötig wegzuwerfen. Andererseits, um schlechte Lebensmittel frühzeitig zu erkennen, um diese dann aussortieren zu können, bevor eine „Ansteckung“ benachbarter Lebensmittel erfolgt.
Es ist bekannt zur zerstörungsfreien Analyse und Qualitätskontrolle von Früchten und Gemüse hyperspektrale Bilddaten zu verwenden. Hyperspektralkameras und hyperspektrale Bildgebung (HSI) sind aus dem Stand der Technik grundsätzlich bekannt.
Beispielsweise befasst sich die Druckschrift US 2016/0263624 A1 mit der Qualitätsbestimmung von Früchten und Gemüse. Es wird kurz angemerkt, dass eine Hyperspektralkamera zum Einsatz kommen kann, ohne jedoch weitere Details zu nennen.
US 2014 / 0 267 684 A1 offenbart ein System und Verfahren zur Bestimmung des Vorhandenseins einer Kontamination in einer Lebensmittelprobe. Hierbei wird ein Hyperspektralbild der Lebensmittelprobe mit vorbekannten Referenz-Hyperspektralbildern verglichen, um die Kontamination der Lebensmittelprobe zu identifizieren.
US 6 587 575 B1 offenbart ein weiteres System zur Bestimmung von kontaminierten Lebensmitteln indem ein aufgenommenes Bild der Lebensmittelprobe mit einem Referenz-Spektrum einer unkontaminierten Probe bzw. einem Referenz-Spektrum von Schadstoffen in Reinform verglichen wird.
EP 2 405 260 B1 offenbart eine Vorrichtung und ein Verfahren zum Ausführen einer zerstörungsfreien Röntgenuntersuchung von Gegenständen.
US 9 909 978 B2 offenbart ein Verfahren zur Bestimmung eines Reifegrades von Früchten oder Gemüse. Hierbei werden zwei Referenz-Wellenlängen betrachtet, eine erste Wellenlänge, bei welcher die Intensität vom Reifegrad abhängt, und eine zweite Wellenlänge, bei welcher die Intensität nicht vom Reifegrad abhängt.
US 6 646 264 B1 offenbart eine Vorrichtung und ein Verfahren zur Analyse von landwirtschaftlichen Produkten, insbesondere zur zerstörungsfreien Analyse der physikalischen und chemischen Eigenschaften eines oder mehrerer Samen in Echtzeit.
WO 2018/236842 A1 sowie die parallele WO 2018/236844 A1 beschreiben ein System und eine Verfahren zur Bildverarbeitung hyperspektralen Bilddaten von Lebensmitteln und zur Identifikation von Fremdkörpern auf Basis von bekannten Trainingsdaten. Als beispielhafte Lebensmittel werden insbesondere Avocados und Tomaten genannt.
WO 2018/236842 A1 offenbart gemäß der Zusammenfassung ein System mit einem Speicher und mindestens einen Prozessor. Das System ist eingerichtet zum

- Erfassen eines hyperspektralen Bildes eines Lebensmittelobjekts durch eine Bildaufnahmevorrichtung, wobei das hyperspektrale Bild des Lebensmittelobjekts einen dreidimensionalen Satz von Bildern des Lebensmittelobjekts umfasst, wobei jedes Bild in dem Satz von Bildern das Lebensmittelobjekt in einem Wellenlängenbereich des elektromagnetischen Spektrums repräsentiert;
- Normalisieren des hyperspektralen Bilds des Lebensmittelobjekts;
- Auswählen eines Bereichs von Interesse (ROI, region of interest) im hyperspektralen Bild;
- Extrahieren von spektralen Merkmalen aus dem Bereich von Interesse in dem hyperspektralen Bild;
- Vergleichen der spektralen Merkmale aus dem Bereich von Interesses mit einer Vielzahl von Bildern in einem Trainingsdatenset, um bestimmte Eigenschaften des Lebensmittelobjekts zu bestimmen; und
- Bestimmen, ob das hyperspektrale Bild ein Fremdobjekt anzeigt.

Eine beispielhafte Datenbank mit hyperspektralen Daten von 42 verschiedenen Früchten und Gemüsesorten wurde von Forschern der Universität Gießen bereitgestellt in Ennis et al, „Hyperspectral database of fruits and vegetables", Journal of the Optical Society of America A, Vol. 35, No. 4, 2018.
Vor diesem Hintergrund wäre es wünschenswert ein verbessertes System zur Analyse und Qualitätskontrolle von Lebensmitteln unter Verwendung hyperspektraler Bilddaten bereitzustellen.
Die Erfinder haben erkannt, dass insbesondere im Einzelhandel oftmals wechselnde Lebensmittel angeboten werden, Obst und Gemüse sowohl in der Sorte als auch Herkunftsland schwanken können oder neue Produkte ins Sortiment aufgenommen werden, beispielsweise eine andere Auswahl an saisonalen Früchten. Die Erfinder haben ferner erkannt, dass im Einzelhandel oftmals keine kontrollierten Beleuchtungsbedingungen vorliegen.
Gemäß einem ersten Aspekt der Erfindung wird daher vorgeschlagen, ein System zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln, bereitzustellen mit

- einer Hyperspektralkamera zur Aufnahme von hyperspektralen Bilddaten;
- einer Datenverarbeitungseinrichtung zum Verarbeiten der von der Hyperspektral-kamera aufgenommenen hyperspektralen Bilddaten, wobei die Datenverarbeitungseinrichtung eingerichtet ist zum:
- - Empfangen der hyperspektralen Bilddaten;
- - Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten;
- - Bestimmen einer zweiten spektralen Signatur auf Basis derselben von der Hyperspektralkamera aufgenommenen hyperspektralen Bilddaten;
- - Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur; und
- - Erzeugen eines Falschfarbenbildes basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur;
und
- einer Anzeigeeinrichtung eingerichtet zum Anzeigen des Falschfarbenbildes.

Gemäß einem zweiten Aspekt der vorliegenden Offenbarung wird eine Vorrichtung bzw. Datenverarbeitungseinrichtung zum Verarbeiten von von einer Hyperspektralkamera aufgenommenen hyperspektralen Bilddaten vorgeschlagen, wobei die Vorrichtung eingerichtet ist zum:

- Empfangen der hyperspektralen Bilddaten;
- Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten;
- Bestimmen einer zweiten spektralen Signatur auf Basis der selben von der Hyperspektralkamera aufgenommenen hyperspektralen Bilddaten;
- Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur; und
- Erzeugen eines Falschfarbenbildes basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur. Die Vorrichtung kann einen Prozessor aufweisen, der dazu eingerichtet ist, die vorstehend genannten Schritte durchzuführen.

Gemäß einem dritten Aspekt der vorliegenden Offenbarung wird ein, insbesondere computerimplementiertes, Verfahren zum Verarbeiten von von einer Hyperspektralkamera aufgenommenen hyperspektralen Bilddaten, vorgeschlagen, wobei das Verfahren folgende Schritte aufweist:

- Empfangen der hyperspektralen Bilddaten;
- Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten;
- Bestimmen einer zweiten spektralen Signatur auf Basis derselben von der Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten;
- Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur; und
- Erzeugen eines Falschfarbenbildes basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur.

Gemäß einem weiteren Aspekt der vorliegenden Offenbarung wird vorgeschlagen, ein Computerprogramm bzw. Computerprogrammprodukt mit Programmcode bereitzustellen, der dazu ausgelegt ist, ein solches Verfahren auszuführen, wenn das Computerprogrammprodukt auf einer Datenverarbeitungseinrichtung ausgeführt wird.
Wie eingangs erwähnt haben die Erfinder haben erkannt, dass insbesondere im Einzelhandel oftmals wechselnde Lebensmittel angeboten werden, Obst und Gemüse sowohl in der Sorte als auch Herkunftsland schwanken können oder neue Produkte ins Sortiment aufgenommen werden, beispielsweise eine andere Auswahl an saisonalen Früchten.
Vor diesem Hintergrund hat sich der im Stand der Technik offenbarte Ansatz, die von der Hyperspektral-Kamera erfassten Spektren mit in einer Datenbank hinterlegten Spektren zu vergleichen, wie diese beispielsweise in der eingangs genannten Veröffentlichung bereitgestellt werden, als nicht erfolgversprechend herausgestellt. Datenbankbasierte Ansätze haben den Nachteil, dass sie für einen bestimmten Anwendungsfall geschaffen worden sind. Eine Datenbank kann nicht alle möglichen auftretenden Stoffe enthalten.
Darüber hinaus kann es selbst bei einem Vergleich mit hinterlegten Spektren zu Fehlern kommen, da die hyperspektralen Messdaten im Einzelhandel nicht unter kontrollierten Beleuchtungsbedingungen erfasst werden können. Insbesondere kommen in unterschiedlichen Geschäften unterschiedliche Lichtquellen zum Einsatz und auch innerhalb eines Geschäftes können die Lebensmittel von unterschiedlichen Lichtquellen beleuchtet werden. Darüber hinaus kann sich die Beleuchtung aus einer Kombination aus Kunstlicht und Tageslicht zusammensetzen und selbst diese Kombination kann je nach Tageszeit und Wetter variieren. Die hyperspektralen Bilddaten ergeben sich vielmehr aus dem Zusammenwirken der Beleuchtung und der zu messenden Objekte.
Die Erfinder haben erkannt, dass es oftmals nicht erforderlich ist, eine vollständig korrekte Wiedergabe sämtlicher spektraler Eigenschaften in den hyperspektralen Bilddaten zu fordern. Beispielsweise ist es einem Einzelhändler bekannt, dass sich in benachbarten Kisten auf seinem Obst- und Gemüsestand unterschiedliches Gemüse wie beispielsweise Tomaten und Avocados befinden. Eine Identifikation der unterschiedlichen Feldfrüchte durch Abgleich mit einer Datenbank ist somit nicht erforderlich.
Darüber hinaus kann üblicherweise davon ausgegangen werden, dass ein Großteil der Ware in einwandfreiem Zustand ist. Allerdings können einzelne Feldfrüchte Beschädigungen, wie beispielsweise Druckstellen oder faulige Stellen aufweisen. Solche Beschädigungen können als Abweichungen in den hyperspektralen Bilddaten erkannt werden. Eine unbeschädigte Feldfrucht kann eine erste spektrale Signatur aufweisen, wohingegen eine beschädigte Feldfrucht eine davon abweichende, zweite spektrale Signatur aufweist. Es wird daher vorgeschlagen, die erste und die zweite spektrale Signatur miteinander zu vergleichen und auf Basis dieses Vergleichs ein Falschfarbenbild bereitzustellen. Mit anderen Worten wird ein Ähnlichkeitswert, d.h. ein Maß für die Ähnlichkeit zwischen der ersten und der zweiten spektralen Signatur bestimmt und auf dessen Basis ein Falschfarbenbild erzeugt. Ein Vorteil der vorgeschlagenen Lösung kann darin bestehen, dass eine laientaugliche Darstellung von hyperspektralen Bilddaten bereitgestellt werden kann. Insbesondere kann die Qualitäts- bzw. Zustandskontrolle von Lebensmitteln im Einzelhandel erleichtert werden und kann vorzugsweise auch von Lagermitarbeitern, auf einfache Weise vor Ort, ohne Labor und definierte Beleuchtungsbedingungen durchgeführt werden.
Im Rahmen der vorliegenden Offenbarung können hyperspektrale Bilddaten verstanden werden als ein sogenannter Datencube oder dreidimensionaler Datensatz verstanden werden. Multi- und Hyperspektrale Kamera nehmen im Gegensatz zu regulären monochrom oder RGB Kameras ein Bild in wohldefinierten spektralen Kanälen auf, die sich in ihrer Wellenlänge unterscheiden. Von hyperspektralen Kameras spricht man üblicherweise, wenn der Arbeitsbereich aus einer Vielzahl von, typischerweise mehr als 10, insbesondere als mehr als 25, engen Kanälen besteht. Die einzelnen spektralen Kanäle können den spektralen Arbeitsbereich lückenlos abdecken. Bei Multispektralkameras können die einzelnen Kanäle unterschiedliche spektrale Breiten haben und können Lücken in der spektralen Abdeckung des Arbeitsbereiches aufweisen. Im Sinne dieser Offenbarung werden die Begriffe multispektral und hyperspektral synonym verwendet und bezieht sich auf Bilddaten, die nicht weniger als vier, insbesondere nicht weniger als 10 spektrale Kanäle aufweisen. Ein hyperspektraler Datencube kann beispielsweise eine x- und y- Richtung, also die räumlichen Dimensionen Breite und Höhe des aufgenommenen Bildes wiedergeben und eine zusätzlichen Dimension für spektrale Information aufweisen, beispielsweise die spektrale Information oder Wellenlängeninformation entlang der z-Achse wiedergeben. Es ist jedoch auch möglich, dass die hyperspektralen Bilddaten nur eine räumliche Dimension und eine spektrale Dimension aufweisen, beispielsweise bei Aufnahme mit einer hyperspektralen Zeilenkamera.
Es können verschiedene geeignete Verfahren zur Bestimmung eines Ähnlichkeitswerts bzw. Ähnlichkeitsmaßes zwischen der ersten und der zweiten spektralen Signatur verwendet werden, z.B. Korrelation, euklidische Distanz, Cosinusähnlichkeit und dergleichen.
Die erste und die zweite spektrale Signatur können bestimmt werden auf Basis eines Simplexes, welcher durch in den hyperspektralen Bilddaten enthaltene Spektren aufgespannt wird. Jeder Bildpunkt eines hyperspektralen Bildes gibt ein Spektrum an dem Ort dieses Bildpunkts wieder. Sie Spektren spannen einen m-dimensionalen Simplex auf. Die spektralen Signaturen befinden sich (näherungsweise) an den Eckpunkten des Simplex. Vorzugsweise können die erste und die zweite spektrale Signatur bestimmt werden basierend auf Eckpunkten des Simplexes, welcher durch die in den hyperspektralen Bilddaten enthaltenen Spektren aufgespannt wird.
Das Erzeugen des Falschfarbenbildes kann eine Bestimmung eines Anteils der ersten spektralen Signatur an einem Bildpunkt und eine Bestimmung eines Anteils der zweiten spektralen Signatur an einem Bildpunkt aufweisen. Beispielsweise entspricht die erste spektrale Signatur einer Stelle einer Frucht ohne Beschädigung und die zweite spektrale Signatur entspricht einer Stelle einer Frucht mit Beschädigung. Ein Bildpunkt an einer Stelle ohne Beschädigung kann somit die erste Signatur in Reinform aufweisen. Ein Bildpunkt an einer Stelle mit Beschädigung kann somit die zweite Signatur in Reinform aufweisen. Ein Bildpunkt in einem Übergangsbereich oder mit einer noch nicht weit fortgeschrittenen Beschädigung kann eine Mischung aus beiden spektralen Signaturen aufweisen.
Das Erzeugen des Falschfarbenbildes kann aufweisen: Zuweisen eines ersten Farbtons für die erste spektrale Signatur; Zuweisen eines zweiten Farbtons für die zweite spektrale Signatur, wobei die Zuweisung des zweiten Farbtons in Abhängigkeit von dem Ähnlichkeitswert zwischen der ersten und der zweiten Signatur erfolgt. Mit anderen Worten wird der Farbton der zweiten Signatur im Falschfarbbild also nicht unmittelbar aus der zweiten spektralen Signatur erstellt, sondern auf Basis des Vergleiches der ersten und der zweiten spektralen Signatur miteinander.
In einer Weiterbildung kann die Zuweisung des zweiten Farbtons derart erfolgen, dass der Ähnlichkeitswert einen Abstand zwischen dem ersten Farbton für die erste spektrale Signatur und dem zweiten Farbton für die zweite spektrale Signatur in einem Farbraum angibt. Mit anderen Worten wird zunächst der Ähnlichkeitswert bestimmt, dieser in einen Abstand zwischen dem ersten Farbton für die erste spektrale Signatur und dem zweiten Farbton für die zweite spektrale Signatur in dem gewünschten Farbraum übersetzt und, basierend auf dem Abstand und ausgehend von dem ersten Farbton, der zweite Farbton für die Darstellung der zweiten Signatur im Falschfarbenbild ausgewählt. Beispielsweise kann ein Mapping von einem Ähnlichkeitswert auf einen Farbwert z.B. in HSV Raum erfolgen.
In einer Weiterbildung kann der der Abstand einen Abstand auf einer (geschlossenen) Kontur eines Farbraums angibt. Ein Vorteil dieser Ausgestaltung kann darin bestehen, dass die Erzeugung des Falschfarbenbilds vereinfacht werden kann. Wenn man die Distanzmaße aufaddiert bzw. basierend auf dem Abstand auf der Kontur des Farbraumes weiterläuft, kommt man nicht an eine Grenze, sondern kann einfach auf der Kontur weiterlaufen. Somit ergeben sich keine Sprünge im Farbverlauf. Als Farbräume können hier beispielsweise der HSV oder HLS Farbraum verwendet werden. Basierend auf einem Farbwert für den ersten Farbton kann somit für den zweiten Farbwert eine Position auf der Kontur eines Farbraums berechnet werden, welche sich aus dem Ähnlichkeitswert ergibt.
Die Datenverarbeitungseinrichtung kann eingerichtet sein zum Erzeugen des Falschfarbenbildes in einem Farbraum, welcher mindestens eine Koordinate für eine Farbe und mindestens eine Koordinate für Intensität aufweist. Beispielsweise kann hier der HSV oder HLS Farbraum verwendet werden. Die im vorigen Absatz genannten Vorteile können entsprechend gelten, wobei der Farbraum nochmals näher definiert ist.
Die Datenverarbeitungseinrichtung kann eingerichtet sein zum Erzeugen des Falschfarbenbildes derart, dass eine Luminanz bzw. ein Helligkeitswert bestimmt wird basierend auf einer Häufigkeit der ersten spektralen Signatur und einer Häufigkeit der zweiten spektralen Signatur. Die Luminanz kann hierbei direkt basierend auf der basierend auf der jeweiligen Häufigkeit der jeweiligen Signatur angegeben werden. Dies kann die Berechnung vereinfachen und beschleunigen. Alternativ kann die Luminanz jedoch auch basierend auf dem Ähnlichkeitswert bestimmt werden.
Die Datenverarbeitungseinrichtung kann eingerichtet sein zum Erzeugen des Falschfarbenbildes derart, dass ein Farbwert bzw. Sättigungswert bzw. Chroma auf Basis einer Differenz zwischen der Häufigkeit der ersten spektralen Signatur und einer Häufigkeit der zweiten spektralen Signatur bestimmt wird.
Das Erzeugen des Falschfarbenbildes kann aufweisen: Bestimmen einer räumlichen Verteilung der ersten spektralen Signatur in den Bilddaten; und Bestimmen einer räumlichen Verteilung der zweiten spektralen Signatur in den Bilddaten. Ein Vorteil dieser Ausgestaltung kann darin bestehen, dass eine räumliche Verteilung besser berücksichtigt werden kann. Beispielsweise können zusammenhängende Bereiche mit charakteristischen Verteilungen oder Anteilen der ersten und der zweiten Signatur in den Bilddaten bestimmt und optional im Falschfarbenbild gekennzeichnet werden.
Die Datenverarbeitungseinrichtung kann ferner eingerichtet sein zum:

- Empfangen von weiteren hyperspektralen Bilddaten;
- Bestimmen einer Abweichung gegenüber der ersten und/oder der zweiten spektralen Signatur; und
- wenn die Abweichung über einem Schwellwert liegt, Bestimmen einer dritten spektralen Signatur; Bestimmen eines weiteren Ähnlichkeitswerts zwischen der dritten spektralen Signatur und wenigstens einer von der ersten und der zweiten spektralen Signatur; und Erzeugen eines Falschfarbenbildes basierend auf dem weiteren Ähnlichkeitswert. Beispielsweise kann es sich bei den weiteren hyperspektralen Bilddaten um ein weiteres hyperspektrales Bild handeln. Beispielsweise können die hyperspektralen Bilddaten einen Frame aus einem hyperspektralen Videosignal entsprechen. Die weiteren hyperspektralen Bilddaten können einem weiteren Frame aus dem hyperspektralen Videosignal entsprechen, beispielsweise zu einem späteren Zeitpunkt. Als Abweichung kann ein Fehlerterm berechnet werden. Zur Bestimmung der Abweichung bzw. des Fehlers kann berechnet werden, wie groß Abweichung zwischen einem gemessenen Spektrum und einem durch die bereits bestimmten Signaturen erklärbaren Anteil des gemessenen Spektrums ist. Eine Abweichung in hyperspektralen Videodaten kann sich beispielsweise ergeben, wenn ein Nutzer die Hyperspektralkamera von einer Obstsorte zu einer anderen schwenkt. Wenn die Abweichung zu groß ist, d.h. über dem Schwellwert liegt, kann eine neue, dritte spektrale Signatur bestimmt werden, die Ähnlichkeit derselben mit der ersten und/oder zweiten spektralen Signatur verglichen werden, und auf dieser Basis ein neues Falschfarbenbild erzeugt werden. Es versteht sich, dass nach Bedarf noch weitere spektrale Signaturen bestimmt und entsprechend verarbeitet werden können.

Die Datenverarbeitungseinrichtung kann eingerichtet sein zum Bestimmen der ersten spektralen Signatur auf Basis eines räumlich zusammenhängenden Bereichs der hyperspektralen Bilddaten, dessen Größe über einem Schwellwert liegt. Somit kann eine Mindestgröße von räumlich zusammenhängenden Bereichen berücksichtigt werden. Ein Vorteil dieser Ausgestaltung kann darin liegen, dass die Rechenzeit reduziert werden kann und dann Ausreißer, beispielsweise bei verrauschten Bilddaten vermieden werden können.
Vorzugsweise kann das System als handgehaltene Vorrichtung ausgebildet sein. Ein Vorteil dieser Ausgestaltung besteht in einer einfachen Handhabung. Es versteht sich, dass bei einem handgehaltenen System ein Teil der Datenverarbeitungsschritte auf einem externen Server oder durch eine Cloudbasierte Anwendung durchgeführt werden können. Ein Anwendungsfall einer handgehaltenen Vorrichtung besteht darin, dass ein Mitarbeiter die Lebensmittel unmittelbar in einer Auslage eines Ladens überprüfen kann. Ferner kann die Vorrichtung in Form eines Smartphones implementiert sein und direkt von Endkunden eingesetzt werden, beispielsweise um im Laden oder auf dem Markt Früchte oder Gemüse überprüfen zu können.
Die vorgeschlagene Vorrichtung bzw. Datenverarbeitungseinrichtung kann beispielsweise implementiert sein mittels eines Chips, ASICs (anwendungsspezifischen integrierten Schaltkreises), FPGA (Field Programmable Gate Array), Mikrokontroller, µC oder anderweitiger Prozessor oder Recheneinheit. Die Datenverarbeitungseinrichtung kann eine oder mehrere Schnittstellen aufweisen. Die Datenverarbeitungseinrichtung kann optional dazu eingerichtet sein, weitere Datenverarbeitungsschritten vorzunehmen, beispielsweise eine optische Bildauswertung, Funktionen zur Ansteuerung der Hyperspektralkamera oder zur Videokompression.
Weitere Vorteile ergeben sich aus der Beschreibung und der beigefügten Zeichnung.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Ausführungsbeispiele der Erfindung sind in den beigefügten Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.

1 zeigt ein Blockdiagramm eines beispielhaften Systems zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln;
2 zeigt ein Flussidagramm eines Verfahrens zum Verarbeiten der hyperspektralen Bilddaten;
3 zeigt ein Diagramm mit unterschiedlichen spektralen Komponenten;
4 zeigt eine beispielhafte Aufnahme von Tomaten und Avocados auf einem Marktstand;
5 zeigt ein Diagramm mit einem beispielhaften Spektrum einer ersten Feldfrucht mit guten und schlechten Stellen;
6 zeigt ein Diagramm mit einem beispielhaften Spektrum einer zweiten Feldfrucht mit guten und schlechten Stellen;
7 zeigt eine weitere beispielhafte Ausgestaltung eines Systems zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln;
8 zeigt eine perspektivische Rückansicht einer beispielhaften Ausgestaltung eines Systems zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln als handgehaltene Vorrichtung;
9 zeigt eine perspektivische Vorderansicht der handgehaltenen Vorrichtung aus 8; und
10 zeigt ein Flussidagram eines Verfahrens zum Verarbeiten der hyperspektralen Bilddaten insbesondere von hyperspektralen Videodaten.

1 zeigt ein Blockdiagramm eines beispielhaften Systems zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln. Das System ist dabei in seiner Gesamtheit mit Bezugszeichen 1 bezeichnet. Als Beispiel für zu analysierende Lebensmittel sind mehrere Äpfel 2 abgebildet, welche jedoch nicht Teil des Systems sind.
Das System weist eine Hyperspektralkamera 10, eine Datenverarbeitungseinrichtung 20 und eine Anzeigeeinrichtung 30 auf. Die Hyperspektralkamera ist mit der Datenverarbeitungseinrichtung 20 verbunden. Die Datenverarbeitungseinrichtung 20 ist mit der Anzeigeeinrichtung 30 verbunden.
Ein Vorteil der vorgeschlagenen Lösung kann insbesondere darin bestehen, dass ein hyperspektrales Bild, welches von der Hyperspektralkamera 10 aufgenommen wurde insbesondere ohne Vorwissen, wie z.B. eine Datenbank mit hinterlegten spektralen Signaturen, in eine vorzugsweise für Laien verständliche Falschfarbdarstellung überführt werden kann.
Die Hyperspektralkamera 10 ist eingerichtet zur Aufnahme hyperspektraler Bilddaten 11. Die hyperspektralen Bilddaten 11 werden über eine Schnittstelle an die Datenverarbeitungseinrichtung 20 übermittelt und von dieser empfangen.
Hyperspektralkameras 10 erzeugen üblicherweise dreidimensionale Datenstrukturen sogenannte Datenwürfel bzw. Data Cubes. Die Basis des Datenwürfels repräsentiert dabei eine Bildebene der Kamera, d.h. zwei räumliche Dimensionen in x- und y- Richtung bzw. Breite und Höhe des Bildes. Die dritte Dimension repräsentiert hingegen eine Vielzahl von typischerweise über 10, insbesondere über 25 spektralen Kanälen geordnet nach ihrer Wellenlänge. Ein Pixel kann somit als ein Spektrum betrachtet werden, wobei jeder Kanal einen Messpunkt auf der spektralen Achse darstellt. Mathematisch gesehen stellt jedes Spektrum wiederum einen Vektor dar, dessen Dimensionalität der Anzahl der Farbkanäle darstellt: $X_{n} = [x_{1} x_{2} \dots x_{n}]$
Dabei steht x_n für den Messwert, wie beispielsweise die Intensität oder Reflektanz, bei der dem Messwert zugehörigen Wellenlänge.
Hyperspektrale Kameras 10 sind aus dem Stand der Technik bekannt. Flächige hyperspektrale Kameras nutzen üblicherweise entweder eine Vielzahl aufgedampfter Farbfilter (z.B. US 2014 / 0 267 684 A1 oder US 2012 / 0 327 248 A1 ), ein zeitlich veränderliches Filter (z.B. US 5 216 484 A , WO 2018 / 092 104 A1 ) oder einen Lichtmodulator ( US 2016/0 127 661 A1 ).
Die Erfinder haben erkannt, dass neben der Verfügbarkeit kostengünstiger Kamerahardware, eine laiengerechte Darstellung der hyperspektralen Bilddaten ebenfalls eine Voraussetzung ist, um hyperspektrale Bildgebung massentauglich zu machen.
Die Datenverarbeitungseinrichtung 20 ist eingerichtet zum Verarbeiten bzw. Prozessieren der von der Hyperspektralkamera 10 bereitgestellten Bilddaten 11. Die Datenverarbeitungseinrichtung ist dazu eingerichtet, die Verfahrensschritte gemäß dem in 2 gezeigten Flussdiagramm durchzuführen.
2 zeigt ein Flussidagram eines Verfahrens 100 zum Verarbeiten der hyperspektralen Bilddaten. In einem ersten Schritt S101 werden hyperspektralen Bilddaten empfangen. Die hyperspektralen Bilddaten können über eine Schnittstelle der Datenverarbeitungseinrichtung empfangen werden. Es kann sich um eine kabelgebundene oder drahtlose Schnittstelle handeln. Optional können die Daten in einer Speichereinrichtung zwischengespeichert werden, beispielsweise auf einem Server.
In einem zweiten Schritt S102 wird eine erste spektrale Signatur auf Basis der hyperspektralen Bilddaten bestimmt. In einem dritten Schritt S103 wird eine zweite spektrale Signatur auf Basis der hyperspektralen Bilddaten bestimmt. Weitere Aspekte der spektralen Signaturen und der mathematischen Hintergründe werden weiter unten im Detail beschrieben. Es versteht sich, dass die Schritte S102 und S103 parallel bzw. in einer kombinierten Bestimmung in einem Schritt durchgeführt werden können. Die Bestimmung der ersten und der zweiten spektralen Signatur sind lediglich zur Veranschaulichung als separate Schritte dargestellt.
Der Begriff spektrale Signatur kann ein charakteristisches Spektrum bezeichnen, das mit einer spezifischen chemischen Zusammensetzung eines Objekts korreliert. So hat beispielsweise das holzige Material des Stilansatzes einer Frucht eine andere spektrale Signatur, als die Schale einer reifen Frucht. Die spektrale Signatur einer reifen Frucht unterscheidet sich wiederum von der spektralen Signatur einer Fäulnisstelle, da Fäulnis mit chemischen Veränderungen der Schale einhergeht. Mathematisch gesehen ist kann die spektrale Signatur als ein n-dimensionaler Vektor beschrieben werden: $S = [S_{1} S_{2} \dots S_{n}]$
Eine zweite spektrale Signatur ist somit zweiter n-dimensionaler Vektor mit unterschiedlichen Werten S1 ... Sn. Spektrale Signaturen müssen nicht zwangsläufig in reiner Form auftreten. Im nicht reinen Fall besteht das gemessene Spektrum X aus einer Überlagerung verschiedener spektraler Signaturen S1 ... Sm: $X_{n} = f (S^{1}, S^{2}, \dots, S^{m})$
Für die meisten Anwendungsfälle ist es hinreichend genau, die Überlagerungsfunktion als eine lineare Addition der spektralen Signaturen zu betrachten. $X_{n} = c_{1} \cdot S^{1} + c_{2} \cdot S^{2} + \dots + c_{m} \cdot S^{m}$
In der obigen Gleichung geben die Terme c1...cm die Auftretenshäufigkeit der zugehörigen spektralen Signatur S1...Sm an.
Wenn nur zwei spektrale Signaturen vorhanden sind, liegen alle Messwerte auf der Verbindungslinie zwischen den spektralen Signaturen S1 und S2. Bei drei spektralen Signaturen liegen die Messwerte in einem Dreieck, das von den Signaturen S1, S2 und S3 aufgespannt wird. Bei m spektralen Signaturen ergibt sich so ein m-dimensionaler Simplex, an dessen Eckpunkten sich jeweils eine spektrale Signatur befindet. Rauschen im Messsignal vergrößert das Volumen des Simplex, ändert aber nicht dessen Form. Diese Betrachtung funktioniert nur, wenn m < n, was in der Praxis als erfüllt angenommen werden kann. Typischerweise kann eine Szene als gewichtete Summe aus wenigen spektralen Signaturen beschrieben werden.
3 zeigt einen 2-dimensionalen Subraum, der durch die spektralen Signaturen S1, S2 und S3 (41, 42 und 43) aufgespannt wird. Die Messungen aus einem beispielhaften hyperspektralen Bild sind durch schwarze Kreuze gekennzeichnet. Die Messwerte liegen in dem aufgespannten Subraum. Eventuelle Abweichen sind durch das Rauschen bedingt. Zusätzlich dargestellt sind zwei Häufungen (44, 45) an Messwerten, die der Messungen des gleichen Objektes bei zwei unterschiedlichen Beleuchtungsbedingungen entspricht.
Die in 3 dargestellten Pfeile geben die Richtung der beiden Hauptkomponenten PC1, PC2 (44, 45) an. Wie aus 3 ersichtlich sind die spektralen Signaturen (41, 42, 43) und die Hauptkomponenten (46, 47) nicht notwendigerweise deckungsgleich. Im Gegenteil, die Hauptkomponentenanalyse berücksichtigt nur die Varianz zwischen den Messungen und nicht die zugrundeliegende Physik. Dies zeigt sich deutlich bei Messungen (44, 45) bei geringer Helligkeit bzw. Beleuchtungsstärke. Das Gesamtspektrum ist um den Faktor 0,9 geringer. Dadurch sind zwar auch die Häufigkeiten c1 ... c3 um den Faktor 0,9 geringer; ihr Verhältnis zueinander ändert sich jedoch nicht. Bei der PCA ändern sich jedoch die Verhältnisse der Hauptkomponenten PC1 und PC2 zueinander.
Bei dem vorgeschlagenen Verfahren kann angenommen werden, dass sich alle n-dimensionalen Spektren durch einen m-dimensionalen Simplex beschreiben lassen. Nach der Erfassung bzw. dem Empfangen der hyperspektralen Bilddaten können ein erster und ein zweiter Eckpunkt des Simplex bestimmt werden. Zur Bestimmung von Eckpunkten eines Simplex können bekannte mathematische Verfahren verwenden werden. Die verschiedenen Verfahren unterscheiden sich vor allem in den Annahmen und Randbedingungen. Insbesondere unterscheidet man, ob es reine Pixel im Datencube gibt. Das Spektrum eines reinen Pixels entspricht dem Spektrum genau einer spektralen Signatur und enthält keine Anteile anderer Signaturen. Beispielsweise ist der Pixel Purity Index ist ein bewährtes Verfahren, um die Eckpunkte des Simplex zu finden. Dazu projiziert man alle Bildpunkte nacheinander auf einen zufälligen s-dimensionalen Vektor der Länge 1. Danach wiederholt man die Projektion mit einem weiteren zufälligen s-dimensionalen Vektor der Länge ein und addiert die Ergebnisse der zweiten Projektion auf die Ergebnisse der ersten Projektion. Diesen Vorgang wiederholt man mehrfach; Erfahrungswerte liegen bei einhundert Mal der Anzahl der reduzierten Dimensionen. Die Pixel mit den höchsten kumulierten Projektionswerten sind mit hoher Wahrscheinlichkeit die reinen spektralen Signaturen, aus denen sich alle Bildpunkte als Linearkombination darstellen lassen.
In 2 wird in einem vierten Schritt S104 ein Ähnlichkeitswert zwischen der ersten und der zweiten Signatur bestimmt auf dessen Basis in Schritt S105 ein Falschfarbenbild erzeugt werden kann. Der Ähnlichkeitswert kann als Maß für die Unterschiedlichkeit der beiden spektralen Signaturen bzw. Vektoren angesehen werden. Ein einfaches Verfahren besteht darin, den Winkel zwischen den beiden Vektoren auf Basis der Cosinus-Ähnlichkeit zu berechnen. Dabei steht a für die erste spektrale Signatur 1 und b für die zweite Signatur 2: $\frac{\sum_{i = 1}^{n} a_{i} \cdot b_{i}}{\sqrt{\sum_{i = 1}^{n} a_{i}^{2}} \sqrt{\sum_{i = 1}^{n} b_{i}^{2}}}$
Sie gibt den Wert 1 zurück, wenn beide Signaturen identisch sind; bei orthogonalen Signaturen 0; und -1 bei Signaturen, die exakt in die jeweils gegenüberliegende Richtung zeigen. Da Intensitäten und Reflektanzen zumeist positive Messwerte sind, können die Signaturen in einem optionalen Zwischenschritt zuerst mittelwertszentriert werden, damit die Cosinus-Ähnlichkeit mit gleicher Wahrscheinlichkeit positive wie negative Werte liefert.
Zur Erzeugung des Falschfarbenbildes in Schritt 105 kann in einem ersten Teilschritt bestimmt werden, welchen Anteil die spektralen Signaturen an den jeweiligen Bildpunkten der hyperspektralen Bilddaten haben.
Als mathematisches Verfahren kann hierfür die sogenannte lineare Entmischung verwendet werden. Die lineare Entmischung geht davon aus, dass man das Spektrum eines jeden Pixels als eine gewichtete Summe der auftretenden Signaturen darstellen kann: $X = C \cdot S^{T} + E$
Dabei sind S die spektralen Signaturen und c deren jeweiligen Anteile. Der Fehlerterm E enthält nur noch Rauschen, wenn die Messdaten vollständig durch die spektralen Signaturen S erklärt werden können.
Durch Umstellen kann man die obige Gleichung nach den Konzentrationen c lösen: $c_{01} = (X - E) \cdot S \cdot {(S^{T} \cdot S)}^{- 1}$
Da der Fehler anfänglich nicht bekannt ist kann man diese Gleichung zuerst ohne den Fehlerterm bestimmen, um eine initiale Schätzung für die Konzentrationen zu erhalten. Anschließend kann der Fehlerterm bestimmt werden aus: $E = X - c_{0} \cdot S^{T}$
Diese initiale Schätzung für den Fehlerterm kann dann für eine nächste Iteration genutzt werden. Über mehrere Iterationen hinweg kann somit eine Häufigkeitsverteilung für die Anteile c der einzelnen spektralen Signaturen S erhalten werden sowie ein Fehlerterm E. Die Häufigkeitswerte können aus mathematischer Sicht beliebige Werte annehmen, auch wenn physikalisch nur Häufigkeiten zwischen 0 und 1 möglich sind. Die Berücksichtigung von Nebenbedingungen ist grundsätzlich möglich, erfordert je nachdem jedoch komplexe iterative Formeln, die einen hohen Rechenaufwand erfordern. Für die bildliche Darstellung ist jedoch weniger der absolute Wert der Häufigkeit wichtig, sondern deren Verteilung über das Bild.
Vorzugsweise kann die Umwandlung des hyperspektralen Bildes in ein Falschfarbbild vereinfacht werden, wenn die Häufigkeitswerte in einem definierten Wertebereich liegen. Dieses kann eine Transformation der berechneten Häufigkeitsverteilung c auf eine Häufigkeitsverteilung c' erfordern, die einen definierten Wertebereich hat. Ein einfaches Beispiel ist eine lineare Transformation, bei der Werte auf einen vordefinierten Bereich beschränkt werden. Diese einfache Transformation kann jedoch den Nachteil haben, dass sie nicht den tatsächlichen, sondern den maximalen Wertebereich berücksichtigt und so bei Bildern die diesen Bereich nicht ausnutzen zu schwachen Kontrasten im Bild führt. Optional wird daher die Verwendung Histogramm-basierter Methoden vorgeschlagen, welche die Transformation dem tatsächlichen Wertebereich anpassen, aber nicht notwendigerweise eine Kontinuität von einem Bild zum nächsten bewahren, was sich bei einer Bildsequenz als ein Flackern bemerkbar machen kann. Ein weiterer Ansatz sind Methoden des Tone-mapping, wie sie für die high dynamic range Videoaufnahmen entwickelt worden sind. Sie können einen nahezu beliebig großen Wertebereich auf einen fixen Wertebereich abbilden, dabei die lokale Zeichnung erhalten und auch eine Bildfolge flackerfrei darstellen.
Im nächsten Teil-Schritt von Schritt S105 kann eine derart bestimmte Häufigkeitsverteilung konvertiert werden in eine Farbdarstellung bzw. Falschfarbdarstellung. Hierbei wird das Falschfarbenbild erzeugt basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur.
Beispielsweise kann eine Konvertierung in den HSV Farbraum erfolgen. Der kegelförmige HSV-Farbraum wird durch die drei Koordinaten Farbwert, Farbsättigung und Helligkeits- bzw. Hellwert aufgespannt. Der Farbwert wird auf einem Kreis abgetragen und als Winkel zwischen 0° und 360° angegeben. Er orientiert sich an der Wellenlänge der dominanten Farbe und führt von Rot über Gelb, Grün zum Blau und dann über Purpur wieder zurück zu Rot. Farben mit einem ähnlichen Farbwert haben einen ähnlichen Farbeindruck. Die Farbsättigung deckt einen Bereich vom 0 bis 1 ab. Während ein Wert von 1 die reine, leuchtende Farbe darstellt, geben kleinere Werte die Zumischung von weiß an, bis bei einem Sättigungswert von 0 ein neutrales grau ohne Farbeindruck entsteht. Der Farbwert liegt ebenfalls zwischen 0 und 1 und gibt die Helligkeit der Farbe an. Ein Wert von 0 steht für ein Schwarz, während ein Wert von 1 dem Farbton in voller Helligkeit entspricht.
Damit ähnliche Spektren einen ähnlichen Farbeindruck erzeugen, wird vorgeschlagen, dass Farbwert aus der Ähnlichkeit der Spektren bzw. spektralen Signaturen bestimmt wird. Hierzu kann die Cosinus-Ähnlichkeit, die zwischen -1 und 1 liegt mit 180° multipliziert und ein Offset dazu addiert werden. Es versteht sich, dass bei eventuell auftretenden Werten unter 0 ein Wert von 360 dazugezählt werden kann. Bei Werten über 360 kann wird entsprechend ein Wert von 360 abgezogen werden. Damit kann sichergestellt werden, dass die Ähnlichkeit der Spektren immer auf einen Wertebereich von 0 bis 360 abgebildet werden kann. Ähnliche Spektren liegen somit farblich zusammen, während orthogonale Spektren in einer gänzlich anderen Farbe dargestellt werden. Damit die farbliche Darstellung die Zusammensetzung der Pixel aus den einzelnen spektralen Signaturen reflektiert, kann die Berechnung des Farbwertes als gewichteter Mittelwert aus den Ähnlichkeiten a, den optional modifizierten Häufigkeiten c' und bei Bedarf dem Offset C0 erfolgen gemäß: $H = \frac{\sum_{i = 1}^{i = n} a_{i} \cdot c_{i}^{'}}{\sum_{i = 1}^{i = n} c_{i} + C_{0}}$
Durch den gewichteten Mittelwert können Pixel mit ähnlichen Signaturen in einem ähnlichen Farbton dargestellt werden. Pixel, die eine Mischung der Signaturen beeinhalten, werden als eine Mischfarbe, die sich aus dem Farbton der einzelnen Signaturen ergibt, dargestellt.
Die Intensität des Farbtons, der V-Wert im HSV Farbsystem, kann sich ergeben aus dem Mittelwert der Häufigkeitswerte: $V = \frac{1}{n} \sum_{i = 1}^{i = n} c_{i}^{'}$
Der Intensitätswert V umfasst einen Wertebereich von 0 bis 1. Damit der Durchschnittswert der Häufigkeiten ebenfalls im gleichen Wertebereich liegt, kann eine Abbildung des unbeschränkten Wertebereichs der Häufigkeiten c auf einen auf 0 bis 1 beschränkten Wertebereich der Häufigkeiten c' erfolgen.
Die Sättigung des Farbtons, der S Wert im HSV-Farbsystem, kann als Maß dafür benutz werden und kann den Nutzer eine Rückmeldung geben, wie unterschiedlich stark sich die Signaturen in Ihrer Häufigkeiten unterscheiden. Ein Maß dafür kann die Varianz der beschränkten Häufigkeitsverteilung c' sein: $S = \sum_{i = 1}^{i = n} {(c_{i}^{'} - \bar{c})}^{2}$
Dabei ist c der Durchschnittswert der beschränkten Häufigkeitsverteilung. Der Wertebereich der Varianz liegt ebenfalls zwischen 0 und 1, wenn die Häufigkeitsverteilung auf 0 bis 1 in ihrem Wertebereich beschränkt ist. Ein Sättigungswert von 0 entspricht in diesem Fall einen Grauton und tritt dann auf, wenn die Häufigkeiten in einem Pixel exakt gleich sind. Das anderen Extrem, ein Sättigungswert von 1, kann bei einem reinen Pixel auftreten, das heißt, dass eine spektrale Signatur einen Häufigkeitswert von 1 hat und die anderen spektralen Signaturen einen Wert von 0.
4 zeigt eine beispielhafte Aufnahme von einem Messszenario für die Analyse und Qualitätskontrolle von Lebensmitteln am Beispiel eines Marktstands mit Tomaten auf der linken Seite und Avocados auf der rechten Seite. Die zugehörigen spektralen Signaturen aus hyperspektralen Bilddaten für eine erste und eine zweite Feldfrucht sind in 5 und 6 wiedergegeben.
5 zeigt ein Diagramm mit beispielhaften Spektren einer ersten Feldfrucht mit guten und schlechten Stellen. Die x-Achse gibt die Wellenlänge in nm an. Die y-Achse bezeichnet die Reflektanz auf einer Skala von 0 bis 1. Hierbei zeigt die Kurve 51 die spektrale Signatur einer reifen Stelle der ersten Feldfrucht. Demgegenüber zeigt die Kurve 52 die spektrale Signatur einer beschädigten Stelle der ersten Feldfrucht.
6 zeigt ein weiteres Diagramm mit beispielhaften Spektren einer zweiten Feldfrucht mit guten und schlechten Stellen. Hierbei zeigt die Kurve 61 die spektrale Signatur einer reifen Stelle der zweiten Feldfrucht. Demgegenüber zeigt die Kurve 62 die spektrale Signatur einer beschädigten Stelle der zweiten Feldfrucht.
7 zeigt eine weitere beispielhafte Ausgestaltung eines Systems 1 zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln. Das System weist erneut eine Hyperspektralkamera 10 zur Aufnahme von hyperspektralen Bilddaten auf. Im diesem Beispiel kann die Hyperspektralkamera als Zeilenkamera ausgebildet sein, welche in räumlicher Richtung eine Zeile des Messobjekts 2 erfasst. Um ein räumlich zweidimensionales Bild zu erfassen kann eine Transportplatte 71 vorgesehen sein, welche beispielsweise von einem Motor 72 angetrieben wird. Somit können nacheinander zeilenweise hyperspektrale Bilddaten erfasst und verarbeitet werden. Die nacheinander aufgenommenen Zeilen können zu einem hyperspektralen Bild mit zweidimensionaler Ortsinformation kombiniert werden. Ein beispielhafter Anwendungsfall für eine solche Zeilenweise Erfassung ist die Inspektion von Objekten auf einem Fließband.
8 zeigt eine perspektivische Rückansicht einer weiteren beispielhaften Ausgestaltung eines Systems zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln, als Handgerät bzw. handgehaltene Vorrichtung 80. 9 zeigt die zugehörige perspektivische Vorderansicht des Handgeräts aus 8. Hierbei können die Hyperspektralkamera 10, die Datenverarbeitungseinrichtung 20 und auch ein Bildschirm als Anzeigevorrichtung 30 im Handgerät integriert sein. Dies ermöglicht eine flexible Analyse von Lebensmitteln beispielsweise im Supermarkt oder auf Marktständen. Die handgehaltene Vorrichtung 80 kann einen Haltegriff 81 und Bedienelemente 82 aufweisen. Der Nutzer kann das Gerät am Haltegriff halten und richtet es auf ein zu untersuchendes Objekt ausrichten. Die hyperspektrale Kamera kann kontinuierlich Bilder aufnehmen. Die Datenverarbeitungseinrichtung kann eines der hierin beschriebenen Verfahren ausführen, um eine Falschfarbendarstellung zu erzeugen, die dem Nutzer auf dem Bildschirm angezeigt wird. Die Interpretation der Bilder kann dann durch den Nutzer erfolgen.
Die in 8 gezeigte Ausführungsform kann beispielsweise bei dem in 4-6 Szenario verwendet werden. An einem Marktstand kann das Gerät die Qualität der ausgelegten Früchte beurteilen. Bei Betrachten der Tomaten extrahiert das Gerät die beiden in 5 dargestellten Signaturen und erzeugt dann eine Falschfarbendarstellung. Nach einem Schwenk der Kamera auf die Avocados werden die beiden in 6 dargestellten Signaturen extrahiert und ebenfalls ein Bild generiert. Nach einem Schwenk zurück zu den Tomaten, extrahiert das Gerät die gleichen spektralen Signaturen und erzeugt damit ein Bild mit den gleichen Farbabstufungen wie zuvor.
10 zeigt ein Flussdiagramm eines Verfahrens zum Verarbeiten der hyperspektralen Bilddaten, insbesondere von hyperspektralen Videodaten. Neben hyperspektralen Bilder bzw. hyperspektralen Bilddaten können Aspekte der vorliegenden Offenbarung auf bei einer zeitlichen Folge von hyperspektralen Bildern, insbesondere bei einem Video, angewandt werden. Ein Video kann hierbei als eine Sequenz von hyperspektralen Bildern verstanden werden. Für den Anwendungsfall der Bildfolge, kann das in 2 Verfahren jedoch um weitere Schritte erweitert werden.
Bei einer Folge von Bildern ist nicht mehr sichergestellt, dass die extrahierten spektralen Signaturen die in der Szene (bzw. im ursprünglichen Bild, auf dessen Basis die spektralen Signaturen bestimmt wurden) vorhandenen Materialien widerspiegeln. Neue Materialien können hinzugekommen sein, bekannte nicht mehr vorhanden sein. Im einfachsten Fall können für jedes hyperspektrale Bild (bzw. für die entsprechenden hyperspektralen Bilddaten) neue Signaturen bestimmt werden und auf deren Basis neue Parameter für die Farbdarstellung bestimmt werden. Ein Nachteil dieser Lösung kann jedoch darin bestehen, dass die Bestimmung neuer spektraler Signaturen ein rechenaufwändiger Vorgang sein kann. Insbesondere bei Handgeräten bzw. handgehaltenen Geräte, wäre es jedoch wünschenswert, den Rechenaufwand zu reduzieren. Es wird daher vorgeschlagen, die Bestimmung neuer Signaturen nur bedarfsabhängig durchzuführen, beispielsweise wenn sich der Bildinhalt signifikant geändert hat.
Die Datenverarbeitungseinrichtung kann eingerichtet sein zum Empfangen weiterer hyperspektraler Bilddaten, also ein weiteres hyperspektrales Bild empfangen, und zum Bestimmen einer Abweichung gegenüber der ersten und/oder zweiten spektralen Signatur. Wenn die Abweichung über einem Schwellwert liegt, kann eine erneute Bestimmung einer neuen, dritten spektralen Signatur vorgenommen werden. Optional können weitere spektrale Signaturen bestimmt werden. Basierend auf dieser oder diesen neu bestimmten Spektralen Signaturen kann erneut ein Ähnlichkeitswert gegenüber der ersten und/oder der zweiten spektralen Signatur und/oder weiteren bestimmten spektralen Signaturen vorgenommen werden. Ein Falschfarbenbild kann wiederum basierend auf dem neuen Ähnlichkeitswert erzeugt werden.
Im dem in 10 gezeigten Flussdiagramm ist der Schritt S106, um die Abweichung gegenüber der ersten und/oder der zweiten spektralen Signatur zu bestimmen, im Anschluss an Erzeugung des Falschfarbenbildes in Schritt S105 vorgesehen. Alternativ kann die Abweichung auch in Anschluss an Schritt S104 erfolgen.
Die in 10 gezeigte Abfolge kann insbesondere dann vorteilhaft sein, wenn einer der vorgelagerten Schritte bereits einen Fehlerterm bereitstellen kann. Beispielsweise kann eine spektrale Dekomposition, wie oben beschrieben, mit dem Fehlerterm E auch ein Maß dafür zurückgeben, wie gut die extrahierten Signaturen die Bildinformationen widerspiegeln. Ein hoher Fehlerterm deutet auf eine oder mehrere weitere unbekannte spektrale Signaturen hin. Somit kann dieser Fehlerterm für die Entscheidung, ob eine erneute Extraktion spektraler Signaturen als erforderlich angesehen wird herangezogen werden.
Beispielsweise kann in Schritt S107 ein über das Bild hinweg kumulierten Fehlerterm mit einem Schwellwert vergleichen werden. Ist dieser unterschritten kann in Schritt S108 das nächste Bild aufgenommen werden und ein Ähnlichkeitswert auf Basis der bekannten spektralen Signaturen ermittelt werden. Falls der kumulierte Fehlerterm den Schwellwert überschreitet, kann in den Schritten S102, S103 eine erneute Extraktion der spektralen Signaturen erfolgen für das neu aufgenommene hyperspektrale Bild.
Die neuen spektralen Signaturen können erheblich von den alten abweichen. Um die Konstanz des Farbeindrucks zu gewährleisten, zieht man optional die erste alte spektrale Signatur zur Berechnung der Ähnlichkeit heran. Mit dieser zuallererst ermittelten spektralen Signatur können weitere, insbesondere alle weiteren ermittelten Signaturen verglichen.
Optional kann auch die räumliche Verteilung des Fehlerterms berücksichtigt werden, um den Rechenaufwand weiter einzuschränken. Neue spektrale Signaturen treten zumeist räumlich korreliert auf, also z.B. in Form einer neuen Frucht in der Szene oder als Druckstelle auf einer Frucht. Die Suche nach neuen spektralen Signaturen erfolgt also vorzugweise in räumlich zusammenhängenden Regionen, die eine Mindestgröße aufweisen und optional in denen der Fehlerterm einen Schwellwert überschreitet. Die Datenverarbeitungseinrichtung kann also eingerichtet sein zum Bestimmen der ersten und/oder weiteren spektralen Signaturen auf Basis eines räumlich zusammenhängenden Bereichs der hyperspektralen Bilddaten, dessen Größe über einem Schwellwert liegt.
Optional kann das System dazu eingerichtet sein, dass neu gefundene spektrale Signaturen über die Zeit hinweg, alte nicht mehr vorhandene ersetzen. In diesem Fall sollten Signaturen, die nicht mehr auftreten, auf definierte Art und Weise wieder entfernt werden. Nachdem neue Signaturen identifiziert worden sind, können diese optional zusammen mit den existierenden nach ihrer Relevanz S bewertet. Hierzu können alle Häufigkeiten einer spektralen Signatur ci mit einem Faktor potenziert und aufaddiert werden $S_{i} = \sum_{x = 1}^{n_{x}} \sum_{y = 1}^{n_{y}} c_{i x y}^{\frac{1}{γ}}$
Der Faktor λ kann dafür sorgen, dass Werte nahe eins ein größeres Gewicht bekommen, also Regionen wo die spektrale Signatur sehr häufig auftritt stärker gewichtet werden als Regionen, wo nur ein Grundrauschen vorhanden ist. Diese Relevanz S kann für eine Mehrzahl oder alle aktiven spektralen Signaturen berechnet werden. Die Signaturen mit der niedrigsten Relevanz können verworfen werden bis eine definierte Anzahl an Signaturen wieder erreicht ist.
Das vorgeschlagene System, das Verfahren und die Datenverarbeitungseinrichtung können insbesondere zur Analyse und/oder Qualitätskontrolle von Lebensmitteln eingesetzt werden Neben der Nahrungsmittelinspektion kann die vorgeschlagene Lösung jedoch in weiteren Bereichen eingesetzt werden, beispielsweise im Bereich Recycling, zur Unterscheidung von unterschiedlichen Arzneimitteln, in der Landwirtschaft, beispielsweise Erkennung von Pflanzenkrankheiten, Erkennung von Unkraut, in der Fernerkundung, zum Unterscheidung von Mineralien, zur Aufklärung, sowie in der Pathologie, beispielsweise zur Kontrasterhöhung in Gewebeproben.
Das vorgeschlagene System kann in verschiedenen Ausführungsformen implementiert und mit anderen Systemen integriert werden, beispielsweise im Bereich maschinelles Sehen oder gar in mobilen Endgeräten wie beispielsweise Smartphones.

Claims

System (1) zur Analyse und/oder Qualitätskontrolle, insbesondere von Lebensmitteln (2), mit - einer Hyperspektralkamera (10) zur Aufnahme von hyperspektralen Bilddaten (11); - einer Datenverarbeitungseinrichtung (20) zum Verarbeiten der von der Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten, wobei die Datenverarbeitungseinrichtung eingerichtet ist zum: - Empfangen der hyperspektralen Bilddaten (S101); - Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten (S102); - Bestimmen einer zweiten spektralen Signatur auf Basis derselben von der Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten (S103); - Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur (S104); und - Erzeugen eines Falschfarbenbildes (21) basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur (S105); und - einer Anzeigeeinrichtung (30) eingerichtet zum Anzeigen des Falschfarbenbildes.
System nach Anspruch 1, wobei die erste und die zweite spektrale Signatur bestimmt werden auf Basis eines Simplexes, welcher durch in den hyperspektralen Bilddaten (11) enthaltene Spektren aufgespannt wird.
System nach Anspruch 2, wobei die erste und die zweite spektrale Signatur bestimmt werden basierend auf Eckpunkten des Simplexes, welcher durch die in den hyperspektralen Bilddaten (11) enthaltenen Spektren aufgespannt wird.
System nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Falschfarbenbildes (21) eine Bestimmung eines Anteils der ersten spektralen Signatur an einem Bildpunkt und eine Bestimmung eines Anteils der zweiten spektralen Signatur an einem Bildpunkt aufweist.
System nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Falschfarbenbildes (21) aufweist: Zuweisen eines ersten Farbtons für die erste spektrale Signatur; Zuweisen eines zweiten Farbtons für die zweite spektrale Signatur, wobei die Zuweisung des zweiten Farbtons in Abhängigkeit von dem Ähnlichkeitswert zwischen der ersten und der zweiten Signatur erfolgt.
System nach Anspruch 5, wobei die Zuweisung des zweiten Farbtons derart erfolgt, dass der Ähnlichkeitswert einen Abstand zwischen dem ersten Farbton für die erste spektrale Signatur und dem zweiten Farbton für die zweite spektrale Signatur in einem Farbraum angibt.
System nach Anspruch 6, wobei der Abstand einen Abstand auf einer Kontur eines Farbraums angibt.
System nach einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (20) eingerichtet ist zum Erzeugen des Falschfarbenbildes (21) in einem Farbraum, welcher mindestens eine Koordinate für eine Farbe und mindestens eine Koordinate für Intensität aufweist.
System nach einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (20) eingerichtet ist zum Erzeugen des Falschfarbenbildes (21) derart, dass eine Luminanz bestimmt wird basierend auf einer Häufigkeit der ersten spektralen Signatur und einer Häufigkeit der zweiten spektralen Signatur.
System nach einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (20) eingerichtet ist zum Erzeugen des Falschfarbenbildes (21) derart, dass ein Farbwert auf Basis einer Differenz zwischen einer Häufigkeit der ersten spektralen Signatur und einer Häufigkeit der zweiten spektralen Signatur bestimmt wird.
System nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Falschfarbenbildes (21) aufweist: Bestimmen einer räumlichen Verteilung der ersten spektralen Signatur in den Bilddaten; und Bestimmen einer räumlichen Verteilung der zweiten spektralen Signatur in den Bilddaten.
System nach einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (20) ferner eingerichtet ist zum: - Empfangen von weiteren hyperspektralen Bilddaten; - Bestimmen einer Abweichung gegenüber der ersten und/oder der zweiten spektralen Signatur; und - wenn die Abweichung über einem Schwellwert liegt, Bestimmen einer dritten spektralen Signatur; Bestimmen eines weiteren Ähnlichkeitswerts zwischen der dritten spektralen Signatur und wenigstens einer von der ersten und der zweiten spektralen Signatur; und Erzeugen eines Falschfarbenbildes basierend auf dem weiteren Ähnlichkeitswert.
System nach einem der vorhergehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (20) ferner eingerichtet ist zum Bestimmen der ersten spektralen Signatur auf Basis eines räumlich zusammenhängenden Bereichs der hyperspektralen Bilddaten, dessen Größe über einem Schwellwert liegt.
System nach einem der vorhergehenden Ansprüche, wobei das System (1) als handgehaltene Vorrichtung (80) ausgebildet ist.
Vorrichtung (20) zum Verarbeiten von von einer Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten (11), wobei die Vorrichtung eingerichtet ist zum: - Empfangen der hyperspektralen Bilddaten (S101); - Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten (S102); - Bestimmen einer zweiten spektralen Signatur auf Basis derselben von der Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten (S103); - Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur (S104); und - Erzeugen eines Falschfarbenbildes (21) basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur (S104).
Verfahren (100, 200) zum Verarbeiten von von einer Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten (11), wobei das Verfahren die folgenden Schritte aufweist: - Empfangen der hyperspektralen Bilddaten (S101); - Bestimmen einer ersten spektralen Signatur auf Basis der hyperspektralen Bilddaten (S102); - Bestimmen einer zweiten spektralen Signatur auf Basis derselben von der Hyperspektralkamera (10) aufgenommenen hyperspektralen Bilddaten (S103); - Bestimmen eines Ähnlichkeitswerts zwischen der ersten und der zweiten Signatur (S104); und - Erzeugen eines Falschfarbenbildes basierend auf dem Ähnlichkeitswert zwischen der ersten und der zweiten spektralen Signatur (S104).
Computerprogrammprodukt mit Programmcode, der dazu ausgelegt ist, das Verfahren nach Anspruch 16 auszuführen, wenn das Computerprogrammprodukt auf einer Datenverarbeitungseinrichtung ausgeführt wird.