EP4163621A1 - Optisches vegetationsindex monitoring - Google Patents

Optisches vegetationsindex monitoring Download PDF

Info

Publication number
EP4163621A1
EP4163621A1 EP21201873.3A EP21201873A EP4163621A1 EP 4163621 A1 EP4163621 A1 EP 4163621A1 EP 21201873 A EP21201873 A EP 21201873A EP 4163621 A1 EP4163621 A1 EP 4163621A1
Authority
EP
European Patent Office
Prior art keywords
mobile phone
lighting unit
base body
designed
main camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21201873.3A
Other languages
English (en)
French (fr)
Inventor
Alexander Michael Gigler
Rainer Strzoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP21201873.3A priority Critical patent/EP4163621A1/de
Publication of EP4163621A1 publication Critical patent/EP4163621A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3181—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/069—Supply of sources
    • G01N2201/0693—Battery powered circuitry

Definitions

  • the invention relates to a device for illuminating an object for a spectroscopic measurement.
  • the invention also relates to an arrangement with such a device and a mobile phone, and a method for measuring a vegetation index with such an arrangement.
  • the spectrally resolved optical measurement of the light reflection on leaves allows conclusions to be drawn about the supply status of the plant or plant diseases.
  • Spectral measurements are used on a laboratory scale and increasingly in the field.
  • the disclosed compact, cost-effective sensor technology puts the farmer in a position to monitor the health of his crops easy to check yourself and as often as you want.
  • Classical optical spectroscopy has been used for a long time to study plant diseases (e.g. leaf diseases) and to study the degree of coverage of plants.
  • Classic optical spectroscopy includes the use of natural or artificial light sources (sun, incandescent lamps) that irradiate the object to be examined, the use of a spectral apparatus that allows the recording of a wavelength-dependent reflected intensity.
  • the desired vegetation index (VI) is calculated from the spectral signatures and displayed to the operator.
  • Vegetation indices are empirically introduced numerical parameters that can be used to characterize the condition of plants. Vegetation indices are calculated from ratios of intensities in the reflectance spectrum at selected wavelengths. One of the best-known VIs is the NDVI (Normalized Difference Vegetation Index, FIG. 1 )), which is based on the formula in the FIG. 1 calculated. It describes a measure of the stress a plant is under. Stress can have various causes, such as drought, malnutrition or illness.
  • Examples of commercial solutions are: In the Greenseeker, LEDs with emission wavelengths in the VIS (656 nm) and NIR (774 nm) are used to illuminate the object. The spectral apparatus is thus shifted into the light source. A silicon-based single-channel detector registers the light reflected from the object. The evaluation according to the VI takes place in a proprietary computing unit.
  • the Isaria VI sensor works like the Greenseeker, with the difference that four LEDs of different wavelengths are used and different VIs can be calculated with them.
  • LDP LLC-MAXMAX.COM offers an imaging VI sensor for remote sensing.
  • the sensor is based on a mobile phone (Samsung Galaxy S4 zoom) in which the three color channels of the normal VIS camera are modified.
  • the three color channels are adapted to the absorption bands relevant for VIs, in one variant e.g. to the normal red and green range and the nominal blue channel detects light in the NIR range of 800 - 900 nm.
  • the sun is used for the reflection measurement.
  • Kitic, et al., "A new low-cost portable multispectral optical device for precise plant status assessment” in Computers and Electronics in Agriculture, Volume 162, July 2019, Pages 300-308 describes a hand-held device with four LEDs of different wavelengths and a silicon photodiode as a detector, analogous to the Greenseeker.
  • a mobile phone solution is provided by Chung, et al., "Smartphone near infrared monitoring of plant stress", Computers and Electronics in Agriculture, Volume 154, 2018, Pages 93-98 specified.
  • the sun is used as the light source.
  • the spectral apparatus is realized by a long-pass filter (>800 nm), which is placed in front of the optics of the integrated camera. Two measurements, with and without a filter, approximate the reflectivity for the NIR range (>800 nm) and the VIR&NIR range. An approximate VI (NDVI) is thus determined.
  • US 2013/0217439 A1 discloses a mobile phone-based NDVI sensor, wherein the spectral apparatus is implemented with two optical filters in front of the integrated camera lens.
  • the two filters are either placed alternately in front of the lens or image the object separately according to wavelength on two different areas of the image sensor.
  • One aspect of the invention discloses a cost-effective sensor structure having a combination of a mobile phone and an optical lighting unit for assessing the condition of plants.
  • the disclosed device for determining the condition of a plant using spectral imaging with active illumination e.g. in the form of LEDs of different wavelengths, using a mobile phone camera for image acquisition is neither commercially available nor disclosed in the prior art.
  • the advantages of the disclosed solution are:
  • the plant sensor can be implemented cost-effectively on the basis of a mobile phone as a technology platform that is widely used worldwide.
  • the plant sensor can be combined with the mobile phone if required, e.g. in the form of a tray into which the mobile phone is placed. This results in a compact design that enables uncomplicated handling and thus promotes acceptance. There is no need for interference-prone electrical connections if the communication between the add-on and the mobile phone and the power supply (inductive charging) are wireless.
  • the mobile phone provides all modules required to operate the plant sensor as an add-on, e.g. camera, processing unit, power supply via USB or inductive charging, GPS for position determination.
  • all required communication channels between the sensor and mobile phone e.g. USB, WLAN, Bluetooth, NFC are available.
  • connection to the mobile phone network is available for the transmission of measurement results to a central database or parameters for the measurement from the database to the sensor.
  • Modern mobile phones provide sufficient computing power to process the hyperspectral images into images, e.g. to display the vegetation index. If several wavelengths are used, it is also possible to extract further information from the individual spectra using AI methods, e.g. the fertilizer status, plant diseases or the severity of the disease. In addition, the spatially resolved information can also be used to identify diseases with an inhomogeneously distributed occurrence (leaf spot diseases).
  • the base body is designed as a shell that can be clamped to the mobile phone on the side of the main camera.
  • the lighting unit has at least two LEDs.
  • the wavelength range can include the visible red light and the near infrared.
  • the lighting unit can be tunable in a predetermined wavelength range.
  • a battery storage unit and/or an inductive current transmission unit arranged in the base body can be formed.
  • a Bluetooth transmission and reception unit can be designed in order to remotely control the lighting unit.
  • the device can preferably be controllable "remotely" by a mobile phone.
  • the invention also discloses an arrangement with a device according to the invention and a mobile telephone to which the device is detachably connected.
  • a tube can be arranged between the device and the object, with the tube being designed to record the beam path of the lighting unit and the main camera.
  • the arrangement can be designed in such a way that the energy supply to the lighting device is provided inductively by the mobile phone.
  • the invention also discloses a method for determining a vegetation index of a plant with an arrangement according to the invention, the cell phone controlling and determining the vegetation index.
  • the cell phone can take pictures with and without an active lighting unit and mathematically subtract the background lighting determined in this way from pictures with an active lighting unit.
  • FIG. 2 shows a sectional view of the disclosed solution.
  • the structure shown comprises a base body 1 and an illumination unit 2 arranged therein, which illuminates an object 6, for example a leaf of a plant, with light of different wavelength ranges illuminated in a suitable (chronological) sequence and the main camera 5.1 of the mobile phone 5, which detects the light reflected from the object 6 and generates images of the different wavelengths with suitable synchronization between the lighting unit 2 and the recording.
  • the base body has an opening 1.1 through which the main camera 5.1 can “look”.
  • the lighting unit 2 is preferably a light source that can be tuned continuously or in discrete steps and has a given optical bandwidth, which completely or partially covers the spectral detection range of the silicon CCDs typically installed in mobile phones 5 .
  • the wavelength resolution of the illumination unit 2 is preferably adapted to the spectral variability of the spectra. In the simplest case, it is a set of two LEDs 2.1 with different wavelengths adapted to the sensor task.
  • LEDs 2.1 can also be used, for example to generate a spectrum or to be able to realize various VI acquisitions.
  • LEDs 2.1 lasers such as laser diodes can also be used, or a light source that allows spectral intensity modulation, as for example in the published application WO 2016/173661 A1 set forth.
  • Main cameras 5.1 in mobile phones 5 usually provide a red-green-blue image (RGB image) of the object 6.
  • the implementation is usually carried out with a color filter array (Bayer filter) that gives each pixel of the image sensor of the main camera 5.1 a defined wavelength range assigns.
  • the filter range for the red color tones often also includes the near-infrared range up to approx. 1000 nm.
  • the VI can be measured simultaneously with a single Recording done what the execution of recording simplified and robust against camera shake.
  • the recordings for the corresponding wavelengths must be taken one after the other.
  • 5.1 main cameras whose red channel does not cover the NIR range are unsuitable if an NIR wavelength has to be evaluated, unless the 5.1 main camera has its own NIR image sensor or a wavelength-independent image sensor.
  • the working distance range extends from the minimum distance at which the main camera 5.1 can still focus (centimeter range) to a distance at which the lighting unit 2 is still able to provide sufficient light intensity after reflection on the object 6 to take a picture with a to ensure a sufficient signal-to-noise ratio.
  • a dark and a white reference can be recorded before the actual measurement, as is usual with measurement methods that are to be evaluated spectrally.
  • images can be recorded in a suitable sequence (e.g. alternately) with and without active lighting and the background lighting can thus be deducted from the calculations.
  • the background light can also be activated by using a tube 7 (see FIG. 3 ) between the mobile phone and the object to be measured 6.
  • the object-side opening of the tube 7 is covered with the object 6 to be measured (eg a leaf).
  • a cover can also be used behind the object 6 to be measured, which in the case of transparent objects 6 eliminates the background light shining through.
  • the two variants for elimination of the background light can also be used in combination.
  • FIG. 3 also shows an inductive power transmission unit 3 and a Bluetooth transmitting and receiving unit 4 in the base body 1.
  • the "VI images" are conveniently calculated in the computing unit of the cell phone. The result of the measurement can thus be shown to the user immediately.
  • Modern mobile phones 5 have sufficient computing power to, for example, take over the control of the measurement and the data analysis.
  • various modules e.g. GPS
  • radio channels are available in order to be able to exchange the evaluated data and parameters important for the measurement (plant variety, spectral characteristics of various plant diseases for the measurement, etc.) with a central database.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung gibt eine Vorrichtung zur Beleuchtung eines Objekts (6) für eine spektroskopische Messung an, aufweisend:- einen an ein Mobiltelefon (5) fixierbaren Grundkörper (1), wobei der Grundkörper (1) derart ausgebildet ist, dass mindestens eine Hauptkamera (5.1) des Mobiltelefons (5) freie Sicht auf das Objekt (6) hat,- eine in dem Grundkörper (1) angeordnete in Aufnahmerichtung der Hauptkamera strahlende und schaltbare Beleuchtungseinheit (2), wobei mindestens ein Wellenlängenbereich der Beleuchtungseinheit (2) für die spektroskopische Messung ausgebildet ist.Die Erfindung gibt auch eine Anordnung mit einer derartigen Vorrichtung und einem Mobiltelefon sowie ein Verfahren zur Bestimmung eines Vegetationsindex mit einer derartigen Anordnung an.

Description

    GEBIET DER ERFINDUNG
  • Die Erfindung betrifft eine Vorrichtung zur Beleuchtung eines Objekts für eine spektroskopische Messung. Die Erfindung betrifft auch eine Anordnung mit einer derartigen Vorrichtung und einem Mobiltelefon sowie ein Verfahren zur Messung eines Vegetationsindex mit einer derartigen Anordnung.
    • HINTERGRUND DER ERFINDUNG
  • In der Landwirtschaft ist es von hohem ökonomischem und ökologischem Interesse, den Gesundheitszustand der angebauten Kulturen möglichst unkompliziert erfassen und Unregelmäßigkeiten möglichst in einem frühen Stadium erkennen zu können. Pflanzenkrankheiten, Schädlingsbefall und inadäquate Düngung vermindern den Ertrag und die Qualität der angebauten Feldfrucht. Frühzeitig eingeleitete Maßnahmen führen zu einer gezielten Düngung und dem minimalen Einsatz von Herbiziden, Fungiziden und Pestiziden.
  • Die spektral aufgelöste optische Messung der Lichtreflektion an Blättern erlaubt in vielen Fällen einen Rückschluss auf den Versorgungszustand der Pflanze bzw. Pflanzenkrankheiten. Spektralmessungen werden im Labormaßstab und zunehmend auch im Feld eingesetzt. Neben der Punktmessung wird auch zunehmend hyperspektral messende Sensorik (HSI = Hyperspektral Imaging) eingesetzt. Der bevorzugte Wellenlängenbereich umfasst dabei das sichtbare Licht (VIS = Visible) und den Nahinfrarotbereich (NIR = Near Infrared) von 400 bis 1500 nm.
  • Die hohen Kosten für die HSI-Messtechnik stehen einer breiten Anwendung in der Landwirtschaft entgegen.
  • Die offenbarte kompakte, kostengünstige Sensorik versetzt den Landwirt in die Lage den Gesundheitszustand seiner Kulturen auf einfache Art und Weise selbst und so oft wie gewünscht zu kontrollieren.
  • Klassische optische Spektroskopie wird seit langer Zeit zur Untersuchung von Pflanzenkrankheiten (z.B. Blattkrankheiten) und der Untersuchung des Versorgungsgrades von Pflanzen eingesetzt. Klassische optische Spektroskopie umfasst hierbei die Verwendung von natürlichen oder künstlichen Lichtquellen (Sonne, Glühstrahler), die das zu untersuchende Objekt bestrahlen, die Anwendung eines Spektralapparates, der die Aufzeichnung einer Wellenlängen-abhängigen reflektierten Intensität erlaubt. Aus den spektralen Signaturen wird der gewünschte Vegetationsindex (VI) berechnet und dem Bediener angezeigt.
  • Vegetationsindizes sind aus Erfahrung eingeführte numerische Parameter, mit denen man den Zustand von Pflanzen charakterisieren kann. Vegetationsindizes errechnen sich aus Verhältnissen von Intensitäten im Reflexionsspektrum bei ausgewählten Wellenlängen. Einer der bekanntesten VIs ist der NDVI (Normalized Difference Vegetations Index, FIG. 1)), der sich nach der Formel in der FIG. 1 berechnet. Er beschreibt ein Maß für den Stress, unter dem eine Pflanze steht. Dabei kann der Stress verschiedene Ursachen haben, wie z.B. Trockenheit, Mangelernährung oder Krankheit.
  • In neuerer Zeit kam zur beschriebenen Punktmessung die lokal aufgelöste Messung, die eine hyperspektrale Bildgebung ermöglicht. Der Punktdetektor des Spektralapparates wird dabei durch ein zweidimensionales Detektor-Array ersetzt. Damit kann ein VI-Bild der Objektoberfläche erstellt werden, welches die gesucht Information enthält. Dieses Prinzip wird in verschiedenen Variationen im Stand der Technik beschrieben und in kommerziell erhältlichen Geräten umgesetzt.
  • Kommerzielle Lösungen sind beispielsweise:
    Im Greenseeker werden LEDs mit Emissionswellenlängen im VIS (656 nm) und NIR (774nm) zur Beleuchtung des Objekts eingesetzt. Damit ist der Spektralapparat in die Lichtquelle verlagert. Ein Silizium-basierter Ein-Kanal-Detektor registriert das vom Objekt reflektierte Licht. Die Auswertung nach dem VI erfolgt in einer proprietären Recheneinheit.
  • Der Isaria VI-Sensor funktioniert im Prinzip wie der Greenseeker mit dem Unterschied, dass vier LEDs unterschiedlicher Wellenlängen zum Einsatz kommen und damit verschiedene VIs berechnet werden können.
  • LDP LLC-MAXMAX.COM bietet einen abbildenden VI-Sensor für die Fernerkundung (remote sensing) an. Der Sensor basiert auf einem Mobiltelefon (Samsung Galaxy S4 zoom), bei dem die drei Farbkanäle der normalen VIS-Kamera modifiziert sind. Im Color Filter Array auf dem Bildsensor der Kamera sind die drei Farbkanäle an die für VIs relevanten Absorptionsbanden angepasst, in einer Variante z.B. auf den normalen Rot- und Grünbereich und der nominelle Blaukanal detektiert Licht im NIR-Bereich von 800 - 900 nm. Als Lichtquelle für die Reflexionsmessung wird die Sonne verwendet.
  • Kitic, et al., "A new low-cost portable multispectral optical device for precise plant status assessment" in Computers and Electronics in Agriculture, Volume 162, July 2019, Pages 300-308 beschreibt analog zum Greenseeker ein Handgerät mit vier LEDs unterschiedlicher Wellenlänge und einer Silizium Fotodiode als Detektor.
  • B. Grieve, et al., "Localized multispectral crop imaging sensors: Engineering & validation of a cost effective plant stress and disease sensor," 2015 IEEE Sensors Applications Symposium (SAS), 2015, pp. 1-6 beschreibt einen stationären Laboraufbau mit einer Vielzahl von LEDs mit fünf Wellenlängen, die auf einer Fläche mit einer Kantenlänge von 30 - 40 cm verteilt sind, um eine homogene Beleuchtung über eine größere Fläche sicherzustellen. Zur Bildgebung wird eine handelsübliche Digitalkamera der Firma Canon eingesetzt
  • Beisel, et al., 2018, "Utilization of single- image normalized difference vegetation index (SI- NDVI) for early plant stress detection", Applications in Plant Sciences 6(10) beschreibt einen Aufbau, bei dem der Spektralapparat durch zwei optische Filter mit den Wellenlängenbereichen 400-575-nm und 675-775-nm ersetzt ist. Zur Beleuchtung wird eine separate Lichtquelle aus LEDs mit vier verschiedenen Wellenlängen (450 nm, 660 nm, 735 nm und 5700 K (weiß) LEDs.) eingesetzt. Zur Bildgebung wird eine kommerziell erhältliche Kamera der Firma GoPro eingesetzt.
  • Eine Lösung mit Mobiltelefon wird von Chung, et al., "Smartphone near infrared monitoring of plant stress", Computers and Electronics in Agriculture, Volume 154, 2018, Pages 93-98 angegeben. Dabei wird als Lichtquelle die Sonne verwendet. Der Spektralapparat ist in diesem Fall durch einem Langpassfilter realisiert (>800 nm), das vor der Optik der integrierten Kamera platziert wird. Zwei Messungen, mit und ohne Filter ergeben angenähert die Reflektivität für den NIR-Bereich (>800 nm) und den VIR&NIR-Bereich. Damit wird ein angenäherter VI (NDVI) ermittelt.
  • Kaile K, Godavarty A., "Development and Validation of a Smartphone-Based Near-Infrared Optical Imaging Device to Measure Physiological Changes In-Vivo", Micromachines (Basel), 2019; 10(3):180, Published 2019 Mar 9 beschreibt einen bildgebenden Aufbau mit Mobiltelefon und drei LEDs (690, 800 and 840 nm) zur Beleuchtung. Der Einsatz der Sensorik ist allerdings auf medizinische Anwendungen beschränkt. Das spiegelt sich auch in der Auswahl der Beleuchtungswellenlängen wider, die für die Untersuchung von Pflanzen nicht geeignet sind.
  • Die Technik der beiden oben beschriebenen kommerziellen Lösungen sind in den Offenlegungsschriften US 2006/0208171 A1 und DE 10 2009 052 159 A1 offenbart.
  • In der Offenlegungsschrift US 2013/0217439 A1 wird ein Mobiltelefon-basierten NDVI-Sensor offenbart, wobei der Spektralapparat mit zwei optischen Filtern vor dem Objektiv der integrierten Kamera realisiert wird. Die beiden Filter werden entweder abwechselnd vor dem Objektiv platziert oder bilden das Objekt nach Wellenlänge getrennt auf zwei unterschiedliche Bereiche des Bildsensors ab.
    • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist Aufgabe der Erfindung, eine Lösung anzugeben, mit deren Hilfe spektroskopisch der Gesundheitszustand von Pflanzen ermittelt werden kann.
  • Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung.
  • Ein Aspekt der Erfindung offenbart einen kostengünstigen Sensoraufbau aufweisend eine Kombination von Mobiltelefon und optischer Beleuchtungseinheit zur Beurteilung des Pflanzenzustands.
  • Die offenbarte Vorrichtung zur Bestimmung des Zustands einer Pflanze anhand spektraler Bildgebung mit aktiver Beleuchtung, z.B. in Form von LEDs verschiedener Wellenlängen unter Nutzung der Kamera eines Mobiltelefons zur Bilderfassung ist weder kommerziell erhältlich noch im Stand der Technik offenbart.
  • Die Vorteile der offenbarten Lösung sind:
    Auf Basis eines Mobiltelefons als weltweit massenhaft verbreiteter Technologieplattform kann der Pflanzensensor kostengünstig realisiert werden.
  • Als Add-on wird der Pflanzensensor bei Bedarf mit dem Mobiltelefon kombiniert, z.B. in Form einer Schale, in die das Mobiltelefon eingelegt wird. Damit ergibt sich eine kompakte Bauform, die eine unkomplizierte Handhabung ermöglicht und damit die Akzeptanz fördert. Auf störanfällige elektrische Verbindungen kann verzichtet werden, wenn die Kommunikation zwischen Add-on und Mobiltelefon und die Energieversorgung (induktives Laden) drahtlos erfolgen.
  • Das Mobiltelefon stellt alle zum Betrieb des Pflanzensensors als Add-on benötigten Module zur Verfügung, z.B. Kamera, Recheneinheit, Stromversorgung über USB oder induktives Laden, GPS zur Positionsbestimmung. Darüber hinaus sind alle benötigten Kommunikationskanäle zwischen Sensor und Mobiltelefon z.B. USB, WLAN, Bluetooth, NFC vorhanden.
  • Zur Übermittlung von Messergebnissen an eine zentrale Datenbank bzw. Parametern für die Messung von der Datenbank an den Sensor steht der Anschluss an das Mobilfunknetz zur Verfügung.
  • Moderne Mobiltelefone stellen genügend Rechenleistung für die Verarbeitung der hyperspektralen Bilder zu Abbildungen, z.B. zur Darstellung des Vegetationsindex, zur Verfügung. Bei Verwendung mehrerer Wellenlängen steht auch die Möglichkeit offen, aus den einzelnen Spektren mit Methoden der KI weitergehende Informationen zu extrahieren z.B. den Düngezustand, Pflanzenkrankheiten bzw. den Schweregrad der Krankheit. Darüber hinaus kann auch die ortsaufgelöste Information zur Identifikation von Krankheiten mit inhomogen verteiltem Auftreten genutzt werden (Blattfleckenkrankheiten).
  • Die Erfindung offenbart eine Vorrichtung zur Beleuchtung eines Objekts für eine spektroskopische Messung, aufweisend
    • einen an ein Mobiltelefon fixierbaren, zum Beispiel klemmbaren, Grundkörper, wobei der Grundkörper derart ausgebildet ist, dass mindestens eine Hauptkamera des Mobiltelefons freie Sicht auf das Objekt hat, und
    • eine in dem Grundkörper angeordnete in Aufnahmerichtung der Hauptkamera strahlende schaltbare Beleuchtungseinheit, wobei mindestens ein Wellenlängenbereich der Beleuchtungseinheit für die spektroskopische Messung ausgebildet ist.
  • In einer Weiterbildung ist der Grundkörper als mit dem Mobiltelefon auf der Seite der Hauptkamera klemmbaren Schale ausgebildet.
  • In einer weiteren Ausführungsform weist die Beleuchtungseinheit mindestens zwei LEDs auf.
  • In einer weiteren Ausgestaltung kann der Wellenlängenbereich das sichtbare rote Licht und das nahe Infrarot umfassen.
  • In einer weiteren Ausgestaltung kann die Beleuchtungseinheit in einem vorgegebenen Wellenlängenbereich durchstimmbar sein.
  • In einer Weiterbildung können eine in dem Grundkörper angeordnete Batteriespeichereinheit und/oder induktive Stromübertragungseinheit ausgebildet sein.
  • In einer weiteren Ausgestaltung kann eine Bluetooth Sende- und Empfangseinheit ausgebildet sein, um die Beleuchtungseinheit aus der Ferne zu steuern. Dadurch kann die Vorrichtung vorzugsweise "remotely" durch ein Mobiltelefon steuerbar sein.
  • Die Erfindung offenbart auch eine Anordnung mit einer erfindungsgemäßen Vorrichtung und einem Mobiltelefon, mit dem die Vorrichtung lösbar verbunden ist.
  • In einer Weiterbildung kann zwischen der Vorrichtung und dem Objekt ein Tubus angeordnet sein, wobei der Tubus ausgebildet ist, den Strahlengang der Beleuchtungseinheit und der Hauptkamera aufzunehmen.
  • In einer Weiterbildung kann die Anordnung derart ausgebildet sein, dass die Energieversorgung der Beleuchtungseinrichtung induktiv durch das Mobiltelefon erfolgt.
  • Die Erfindung offenbart schließlich auch ein Verfahren zur Ermittlung eines Vegetationsindex einer Pflanze mit einer erfindungsgemäßen Anordnung, wobei das Mobiltelefon die Steuerung und die Ermittlung des Vegetationsindex durchführt.
  • In einer Weiterbildung kann das Mobiltelefon Bilder mit und ohne aktive Beleuchtungseinheit aufnehmen und die so ermittelte Hintergrundbeleuchtung rechnerisch von Bildern mit aktiver Beleuchtungseinheit abziehen.
  • Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen eines Ausführungsbeispiels anhand von schematischen Zeichnungen ersichtlich.
    • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Es zeigen:
    • FIG. 1 die Berechnung des Normalized Difference Vegetation Index gemäß Stand der Technik,
    • FIG. 2 eine Schnittansicht der Anordnung zur Bestimmung eines Vegetationsindex und
    • FIG. 3 ein Blockschaltbild einer Anordnung zur Bestimmung eines Vegetationsindex.
    DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • FIG. 2 zeigt eine Schnittansicht der offenbarten Lösung. Der dargestellt Aufbau umfasst einen Grundkörper 1 und eine darin angeordnete Beleuchtungseinheit 2, die ein Objekt 6, z.B. ein Blatt einer Pflanze, mit Licht unterschiedlicher Wellenlängenbereiche in geeigneter (zeitlicher) Abfolge beleuchtet und die Hauptkamera 5.1 des Mobiltelefons 5, die das vom Objekt 6 reflektierte Licht erfasst und bei geeigneter Synchronisation zwischen Beleuchtungseinheit 2 und Aufnahme von Bildern der unterschiedlichen Wellenlängen generiert. Der Grundkörper weist eine Öffnung 1.1 auf, durch die die Hauptkamera 5.1 "schauen" kann.
  • Bei der Beleuchtungseinheit 2 handelt es sich vorzugsweise um eine kontinuierlich oder in diskreten Schritten durchstimmbare Lichtquelle mit gegebener optischer Bandbreite, die den spektralen Erfassungsbereich von den typischerweise in Mobiltelefonen 5 eingebauten Silizium CCDs ganz oder teilweise überstreicht. Bevorzugt ist die Wellenlängenauflösung der Beleuchtungseinheit 2 der spektralen Variabilität der Spektren angepasst. Im einfachsten Fall handelt es sich um einen Satz zweier LEDs 2.1 unterschiedlicher an die Sensorik-Aufgabe angepasster Wellenlängen.
  • Es können auch mehr als zwei LEDs 2.1 eingesetzt werden, um z.B. ein Spektrum zu erzeugen oder verschiedene VI Erfassungen realisieren zu können. Statt LEDs 2.1 können auch Laser wie z.B. Laserdioden eingesetzt werden oder eine Lichtquelle, die eine spektrale Intensitätsmodulation erlaubt, wie beispielsweise in der Offenlegungsschrift WO 2016/173661 A1 dargelegt.
  • Hauptkameras 5.1 in Mobiltelefonen 5 liefern üblicherweise ein Rot-Grün-Blau-Bild (RGB-Bild) des Objekts 6. Die Realisierung erfolgt in der Regel mit einem Farbfilter-Array (Bayerfilter), das jedem Pixel des Bildsensors der Hauptkamera 5.1 einen definierten Wellenlängenbereich zuordnet. Häufig umfasst der Filterbereich für die roten Farbtöne auch den Nahinfrarotbereich bis ca. 1000 nm. Bei Verwendung von zwei oder drei LEDs 2.1, die jeweils nur in einem Filterbereich emittiert (rot, grün oder blau), kann die Messung des VI simultan mit einer einzigen Aufnahme erfolgen, was die Ausführung der Aufnahme vereinfacht und robust gegen Verwackeln macht.
  • Wenn zwei oder mehr Wellenlängen in einem Farbkanal detektiert werden sollen, müssen die Aufnahmen für die entsprechenden Wellenlängen zeitlich nacheinander durchgeführt werden.
  • Hauptkameras 5.1, deren Rot Kanal nicht den NIR-Bereich überstreicht sind ungeeignet, wenn eine NIR-Wellenlänge ausgewertet werden muss, es sei denn, die Hauptkamera 5.1 verfügt über einen eigenen NIR-Bildsensor oder einen Wellenlängenunabhängigen Bildsensor.
  • Der Arbeitsabstandsbereich erstreckt sich vom minimalen Abstand, bei dem die Hauptkamera 5.1 noch fokussieren kann (Zentimeterbereich) bis zu einem Abstand, bei dem die Beleuchtungseinheit 2 in der Lage ist, nach Reflexion am Objekt 6 noch genügend Lichtintensität zu liefern, um eine Aufnahme mit einem ausreichenden Signal-zu-Rauschabstand zu gewährleisten.
  • Zur Intensitätskorrektur der Rohbilder kann man wie üblich bei spektral zu bewertenden Messverfahren vor der eigentlichen Messung eine Dunkel- und eine Weißreferenz aufnehmen. Bei der Synchronisation der Beleuchtungseinheit 2 mit der Bildaufnahme kann man in geeigneter Abfolge (z.B. abwechselnd) Bilder mit und ohne aktive Beleuchtung aufnehmen und damit die Hintergrundbeleuchtung rechnerisch abziehen.
  • In einer Variante kann man das Hintergrundlicht auch durch Einsatz eines Tubus 7 (siehe FIG. 3) zwischen Mobiltelefon und dem zu messenden Objekt 6 abschatten. Die objektseitige Öffnung des Tubus 7 wird während der Messung mit dem zu messenden Objekt 6 abgedeckt (z.B. Blatt). Hinter dem zum messenden Objekt 6 kann zusätzlich eine Abdeckung verwendet werden, die bei transparenten Objekten 6 das durchscheinende Hintergrundlicht eliminiert. Die beiden Varianten zur Eliminierung des Hintergrundlichts können auch in Kombination angewandt werden.
  • FIG. 3 zeigt des Weiteren eine induktive Stromübertragungseinheit 3 sowie ein Bluetooth Sende- und Empfangseinheit 4 in dem Grundkörper 1.
  • Die Berechnung der "VI-Bilder" erfolgt zweckmäßigerweise in der Recheneinheit des Mobiltelefons. Damit kann dem Benutzer sofort das Ergebnis der Messung gezeigt werden. Moderne Mobiltelefone 5 verfügen über genügend Rechenleistung, um z.B. die Steuerung der Messung und die Datenauswertung zu übernehmen. Darüber hinaus stehen verschiedene Module (z.B. GPS) und Funkkanäle zur Verfügung, um die ausgewerteten Daten sowie für die Messung wichtige Parameter (Pflanzensorte, spektral Merkmale verschiedener Pflanzenkrankheiten für die Messung, usw.) mit einer zentralen Datenbank auszutauschen zu können.
  • Obwohl die Erfindung im Detail durch die Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung durch die offenbarten Beispiele nicht eingeschränkt und andere Variationen können vom Fachmann daraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
    • Bezugszeichenliste
    • 1
    Grundkörper
    1.1
    Öffnung für Hauptkamera 5.1
    2
    Beleuchtungseinheit
    2.1
    LED
    3
    Stromübertragungseinheit
    4
    Bluetooth Sende - und Empfangseinheit
    5
    Mobiltelefon
    5.1
    Hauptkamera
    6
    Objekt (z.B. Blatt)
    7
    Tubus

Claims (12)

  1. Vorrichtung zur Beleuchtung eines Objekts (6) für eine spektroskopische Messung,
    gekennzeichnet durch:
    - einen an ein Mobiltelefon (5) fixierbaren Grundkörper (1), wobei der Grundkörper (1) derart ausgebildet ist, dass mindestens eine Hauptkamera (5.1) des Mobiltelefons (5) freie Sicht auf das Objekt (6) hat,
    - eine in dem Grundkörper (1) angeordnete in Aufnahmerichtung der Hauptkamera strahlende und schaltbare Beleuchtungseinheit (2), wobei mindestens ein Wellenlängenbereich der Beleuchtungseinheit (2) für die spektroskopische Messung ausgebildet ist.
  2. Vorrichtung nach Anspruch 1,
    dadurch gekennzeichnet,
    dass der Grundkörper (1) als mit dem Mobiltelefon (4) auf der Seite der Hauptkamera (5.1) klemmbaren Schale ausgebildet ist.
  3. Vorrichtung nach Anspruch 1 oder 2,
    dadurch gekennzeichnet,
    dass die Beleuchtungseinheit (2) mindestens zwei LEDs (2.1) aufweist.
  4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
    dass der Wellenlängenbereich das sichtbare rote Licht und das nahe Infrarot umfasst.
  5. Vorrichtung nach einem der Ansprüche 1 bis 3,
    dadurch gekennzeichnet,
    dass die Beleuchtungseinheit (2) in einem vorgegebenen Wellenlängenbereich durchstimmbar ist.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch:
    - eine in dem Grundkörper (1) angeordnete Batteriespeichereinheit und/oder induktive Stromübertragungseinheit (3).
  7. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch:

    - eine Bluetooth Sende- und Empfangseinheit (4) ausgebildet, die Beleuchtungseinheit (2) aus der Ferne zu steuern.
  8. Anordnung mit einer Vorrichtung nach einem der vorhergehenden Ansprüche,
    gekennzeichnet durch:
    - ein Mobiltelefon (5), mit dem die Vorrichtung lösbar verbunden ist.
  9. Anordnung nach Anspruch 8,
    gekennzeichnet durch:
    - einen zwischen der Vorrichtung und dem Objekt (6) angeordneten Tubus (7), wobei der Tubus (7) ausgebildet ist, den Strahlengang der Beleuchtungseinheit (2) und der Hauptkamera (5.1) aufzunehmen.
  10. Anordnung nach einem der vorhergehenden Ansprüche, derart ausgebildet, dass die Energieversorgung der Beleuchtungseinheit (2) induktiv durch das Mobiltelefon (5) erfolgt.
  11. Verfahren zur Ermittlung eines Vegetationsindex einer Pflanze (6) mit einer Anordnung nach einem der Ansprüche 8 bis 10,
    dadurch gekennzeichnet,
    dass das Mobiltelefon (5) die Steuerung und die Ermittlung des Vegetationsindex durchzuführt.
  12. Verfahren nach Anspruch 11,
    dadurch gekennzeichnet,
    dass das Mobiltelefon (5) Bilder mit und ohne aktive Beleuchtungseinheit (2) aufnimmt und die so ermittelte Hintergrundbeleuchtung rechnerisch von Bildern mit aktiver Beleuchtungseinheit abzieht.
EP21201873.3A 2021-10-11 2021-10-11 Optisches vegetationsindex monitoring Withdrawn EP4163621A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21201873.3A EP4163621A1 (de) 2021-10-11 2021-10-11 Optisches vegetationsindex monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP21201873.3A EP4163621A1 (de) 2021-10-11 2021-10-11 Optisches vegetationsindex monitoring

Publications (1)

Publication Number Publication Date
EP4163621A1 true EP4163621A1 (de) 2023-04-12

Family

ID=78087146

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21201873.3A Withdrawn EP4163621A1 (de) 2021-10-11 2021-10-11 Optisches vegetationsindex monitoring

Country Status (1)

Country Link
EP (1) EP4163621A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060208171A1 (en) 2003-11-07 2006-09-21 Kyle Holland Light sensor with modulated radiant polychromatic source
DE102009052159A1 (de) 2009-08-05 2011-02-10 Georg Fritzmeier Gmbh & Co. Kg Messeinrichtung zur Bestimmung eines Vegetationsindex-Werts (REIP) von Pflanzen
US20130217439A1 (en) 2012-02-21 2013-08-22 Trimble Navigation Limited Cell phone NDVI sensor
WO2015013288A2 (en) * 2013-07-22 2015-01-29 The Rockefeller University System and method for optical detection of skin disease
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
WO2016173661A1 (de) 2015-04-30 2016-11-03 Siemens Aktiengesellschaft Vorrichtung zur optischen strahlerzeugung, filtereinheit und verfahren zur spektralen strahlformung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060208171A1 (en) 2003-11-07 2006-09-21 Kyle Holland Light sensor with modulated radiant polychromatic source
DE102009052159A1 (de) 2009-08-05 2011-02-10 Georg Fritzmeier Gmbh & Co. Kg Messeinrichtung zur Bestimmung eines Vegetationsindex-Werts (REIP) von Pflanzen
US20130217439A1 (en) 2012-02-21 2013-08-22 Trimble Navigation Limited Cell phone NDVI sensor
WO2015013288A2 (en) * 2013-07-22 2015-01-29 The Rockefeller University System and method for optical detection of skin disease
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
WO2016173661A1 (de) 2015-04-30 2016-11-03 Siemens Aktiengesellschaft Vorrichtung zur optischen strahlerzeugung, filtereinheit und verfahren zur spektralen strahlformung

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
B. GRIEVE ET AL.: "Localized multispectral crop imaging sensors: Engineering & validation of a cost effective plant stress and disease sensor", IEEE SENSORS APPLICATIONS SYMPOSIUM (SAS, 2015, pages 1 - 6, XP032788595, DOI: 10.1109/SAS.2015.7133588
BEISEL ET AL.: "tilization of single- image normalized difference vegetation index (SI- NDVI) for early plant stress detection", APPLICATIONS IN PLANT SCIENCES, vol. 6, no. 10, 2018
CHUNG SOO ET AL: "Smartphone near infrared monitoring of plant stress", COMPUTERS AND ELECTRONICS IN AGRICULTURE, ELSEVIER, AMSTERDAM, NL, vol. 154, 8 September 2018 (2018-09-08), pages 93 - 98, XP085509730, ISSN: 0168-1699, DOI: 10.1016/J.COMPAG.2018.08.046 *
GIOVANNI RATENI ET AL: "Smartphone-Based Food Diagnostic Technologies: A Review", SENSORS, vol. 17, no. 6, 20 June 2017 (2017-06-20), pages 1453, XP055626736, DOI: 10.3390/s17061453 *
GRIEVE BRUCE ET AL: "Localized multispectral crop imaging sensors: Engineering & validation of a cost effective plant stress and disease sensor", 2015 IEEE SENSORS APPLICATIONS SYMPOSIUM (SAS), IEEE, 13 April 2015 (2015-04-13), pages 1 - 6, XP032788595, DOI: 10.1109/SAS.2015.7133588 *
KAILE KGODAVARTY A.: "Development and Validation of a Smartphone-Based Near-Infrared Optical Imaging Device to Measure Physiological Changes In-Vivo", MICROMACHINES, vol. 10, no. 3, 9 March 2019 (2019-03-09), pages 180
KITIC ET AL.: "A new low-cost portable multispectral optical device for precise plant status assessment", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 162, July 2019 (2019-07-01), pages 300 - 308
WIRD VON CHUNG ET AL.: "Smartphone near infrared monitoring of plant stress", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 154, 2018, pages 93 - 98, XP085509730, DOI: 10.1016/j.compag.2018.08.046

Similar Documents

Publication Publication Date Title
CN106954385B (zh) 植物信息取得系统、植物信息取得装置和植物信息取得方法
DE112005000183T5 (de) Farbtafelbearbeitungsvorrichtung, Farbtafelbearbeitungsverfahren, und Farbtafelbearbeitungsprogramm
Alchanatis et al. In-field assessment of single leaf nitrogen status by spectral reflectance measurements
DE102016226206A1 (de) System und Verfahren zum Erfassen von Messbildern eines Messobjekts
EP2270451A1 (de) Farbmessgerät
EP1763693B1 (de) Vorrichtung und verwendung der vorrichtung zur aufnahme und verarbeitung eines bildes
DE202014010558U1 (de) Vorrichtung zur Aufnahme eines Hyperspektralbildes
JP6662570B2 (ja) 植物情報取得システム、植物情報取得装置および植物情報取得方法
JP2017012138A (ja) 作物管理システムおよび作物管理方法
JP2017125705A (ja) 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
EP3467475A1 (de) Sparkle-messung
WO2019115370A1 (de) Haarzustands-ermittlungsvorrichtung und verfahren zum bereitstellen von haarzustandsinformation
DE102011115717A1 (de) Handgehaltenes Fernglas mit Spektrometer
DE112018000393T5 (de) Endoskopsystem und Bildanzeigevorrichtung
DE112017004403T5 (de) Endoskopsystem und charakteristischer betrag-berechnungsverfahren
US11619548B2 (en) Hybrid spectral imaging devices, systems and methods
DE102011084348A1 (de) Miniaturisiertes optoelektronisches System zur Spektralanalyse
EP1650589B1 (de) Mikroskop mit einer Vorrichtung zur Erkennung optischer Bauteile
EP3741290B1 (de) Vorrichtung zur abbildungserzeugung von hautläsionen
EP4163621A1 (de) Optisches vegetationsindex monitoring
Evans et al. DEVELOPMENT OF A SPECTRAL IMAGING SYSTEM BASED ON A LIQUID CRYSTAL TUNABLE FILTE
DE112016005019T5 (de) Endoskopsystem und Analyseeinrichtung
DE112019004373T5 (de) Spektroskopische bildgebungsvorrichtung und fluoreszenzbeobachtungsvorrichtung
DD296154A5 (de) Anordnung zur gewinnung von fernerkundungsdaten
DE10325534B4 (de) Verfahren zum Bestimmen des Düngebedarfs in Gärten, Gärtnereien oder Parkanlagen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231013