EP3688660A1 - Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes - Google Patents
Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandesInfo
- Publication number
- EP3688660A1 EP3688660A1 EP18765629.3A EP18765629A EP3688660A1 EP 3688660 A1 EP3688660 A1 EP 3688660A1 EP 18765629 A EP18765629 A EP 18765629A EP 3688660 A1 EP3688660 A1 EP 3688660A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- pixel
- event
- plant
- polarity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Definitions
- Spectral range a sheet edge can be reliably detected.
- the method it is determined that a leaf margin has been detected if the first pixel at a first time tl at least one event of a first Polarity and the second pixel detected at a time t2 at least one event of a second polarity, wherein the first and second polarity are opposite, and that the at least one event of a first polarity of the first pixel and the at least one event of a second polarity of the second pixel the same Place of plant-covered soil corresponds.
- the term "the same place is to be understood as meaning the plant-covered ground", in particular adjacent pixels of a single image, or alternatively pixels with a spacing of up to three pixels can be understood Plant-covered soil both in the first and in the second
- intensity changes at the individual pixel positions represent events.
- a detected event is sent immediately to a computing unit with microsecond accuracy and millisecond latency. If only the two adjacent pixels are considered in the time period, the event-based image sensor provides a time-dependent function for each pixel, which indicates for each time point whether an event was detected or not. If an event has been detected, the function additionally gives the
- the events are detected with an event-based image sensor.
- the event-based image sensor is preferably a DVS sensor. Since the detected events usually require much less memory than the
- a plant height of a plant is determined from at least one image of the soil covered with plants.
- an image is understood as an image taken with an event-based image sensor.
- the stature height is determined from a variety of images of the vegetated soil with soil. The prerequisite for this is that an interpretable flow field can be determined from the at least one image.
- SfM Structure from motion
- the determination of the stature height has the advantage that subsequent spraying operations can be dosed more accurately and thus can be flexibly adapted to the particular circumstances.
- Foliar treatment agent recognizes a sheet edge in a first step of the method according to the method set out above.
- a leaf shape of the plant is detected based on the recognized leaf margin of the plant.
- a leaf margin is detected for each pixel pair in which only one pixel predominantly detects events. Accordingly, any location of the sheet edge can be recognized for the entire still image. If each location of the leaf margin is known, a leaf shape can be determined or recognized. For a moving image, a leaf shape can be determined for each time you see the leaf.
- a classification of the plant is determined on the basis of the specific leaf shape of the plant. This has the advantage that the thus classified plant can be specifically treated with a suitable agent for this plant.
- Classification of the plant appropriate means treated. This advantageously ensures that certain plants are selective or targeted can be treated. For example, it is possible for weeds to be specifically treated with a weed control or herbicide. Alternatively or additionally, other recognized plants may be treated by other means.
- Such agent is especially a pesticide, a pesticide, an insecticide, a fungicide, a herbicide, a biocide, a bactericide
- Virucide an acaricide, an avicide, a molluscicide, a nematicide, an ovicide or a rodenticide.
- the targeted treatment of the plant with a suitable agent for this plant has the advantage that no resources are wasted, in particular no plants are damaged because no plant is treated with an inappropriate agent.
- the computer program is set up to perform each step of the method, especially when running on an electronic controller or computing device. This refers to both the method for the detection of a leaf margin and the method for the targeted treatment of plants with a foliar treatment agent. This allows the implementation of the method in a conventional control unit, without constructive
- FIG. 1 shows a flowchart of a method for sheet edge detection according to an exemplary embodiment of the invention.
- FIG. 1 shows a flow chart of a method 100 for sheet edge detection.
- a first step 110 of the method 100 events of an image of a vegetated soil at a ground speed relative to the ground are detected using an event-based image sensor.
- the ground resolution used here is 0.5 mm per pixel and in front of the image sensor, an NDVI-optimized color filter array (CFA) of bandpass filters in the NI R and R spectral range is arranged.
- the NI R band pass filter is centered around 850 nm and the R band pass filter centered at 660 nm.
- a sheet edge was detected if the detected events of two adjacent pixels were detected predominantly only at one of the two adjacent pixels.
- Step 120 is performed for all adjacent pixels of the captured events of the image. This also means that the method 100 repeatedly measures a passing object. Thus, one obtains the leaf margin for all recorded images of the plant, from which one can determine a leaf shape of the plant. In step 130 of the method 100, a plant height of a plant is determined from all images showing the same plant of the overgrown soil.
- a machine-based learning algorithm is used to classify the plant based on the images of the leaf margin taken by the plant.
- the classified plant is specifically treated with a leaf treatment agent corresponding to the classification of the plant.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Die Erfindung betrifft ein Verfahren (100) zur Erkennung eines Blattrandes mit folgenden Schritten: Erfassen (110) von Events eines Bildes eines mit Pflanzen bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden, wobei eine Bodenauflösung des Bildes zwischen 0,5 und 1 mm pro Pixel liegt; wobei vor einem ersten Pixel des Bildes ein Bandpassfilter eines ersten Frequenzbereichs und vor einem zweiten Pixel des Bildes ein Bandpassfilter eines zweiten Frequenzbereichs angeordnet ist; und Bestimmen (120), dass ein Blattrand erkannt wurde, falls der erste Pixel zu einem ersten Zeitpunkt t1 mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst, wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht oder falls die detektierten Events entweder nur bei dem ersten oder dem zweiten Pixel erkannt wurden. Ferner betrifft die Erfindung eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes, ein Computerprogramm, ein maschinenlesbares Speichermedium und ein elektronisches Steuergerät.
Description
Beschreibung
Titel
Verfahren zur Erkennung eines Blattrandes, Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel und Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung eines Blattrandes, ein Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel, eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein elektronisches Steuergerät.
Stand der Technik
Das vorliegende technische Gebiet betrifft die Erkennung von Blättern oder Pflanzen auf einem Ackerboden durch Bildsensoren bei einer
Fahrtgeschwindigkeit von bis zu 20 km/h eines über den Ackerboden fahrenden Fahrzeugs.
Es ist im Stand der Technik bekannt, dass die verfügbare Information in der Szene sinnvollerweise nur auf die Blattrand- Kurve reduziert ist, die mit einer Bodenauflösung zwischen 0,5 und 1 mm pro Pixel, der sogenannten Blattrand- Auflösung, erfasst werden kann. Dies liegt darin begründet, dass die Blatttextur als nächsthöhere Informationsebene erst mindestens bei Verzehnfachung der Bodenauflösung hinzugenommen werden kann, was bezüglich Datenmengen, Dynamikumfang des Sensors und Kosten für Sensor/Optik mit herkömmlichen Bildsensoren nicht praktikabel ist.
Ferner ist der Dynamikumfang in einem einzelnen Bild bei direktem
Sonnenlichteinfall und vorhandenem Schlagschatten bereits bei der Blattrand- Auflösung an Erdklumpen oder Pflanzen sehr hoch. Bei dem begrenzten
Dynamikumfang von ungefähr 60 bis 80 dB verwendbarer CMOS- Kameras bleiben zeitgleich über- und unterbelichtete Bildbereiche, mit denen kein sinnvoller normalisierter differenzierter Vegetationsindex (NDVI, engl. Normalized Difference Vegetation Index) berechnet werden kann. Der NDVI ist ein
Differenzindex aus Nahinfrarot- und Rotkanal zur Pflanzen- / Boden-
Unterscheidung. Der NDVI berechnet sich als die Differenz der Reflexionswerte im nahen Infrarotbereich und des roten sichtbaren Bereichs geteilt durch die Summe dieser Reflexionswerte. Der NDVI ist der am häufigsten angewandte Vegetationsindex und wurde historisch für Fernerkundungsaufgaben definiert.
Im Stand der Technik sind eventbasierte Bildsensoren oder Kameras, insbesondere DVS- Kameras (DVS = Dynamic Vision Sensor), bekannt. DVS- Kameras stellen eine änderungssensitive Form einer Kamera da, deren
Funktionsweise aus der Biologie des menschlichen Auges heraus adaptiert wurde. Der Dynamic- Vision-Sensor nimmt nicht wie klassische Bildsensoren
(z.B. CMOS-Technologie) in äquidistanten Zeitschritten Bilder auf, sondern misst Intensitätsdifferenzen, sogenannte Events, an einzelnen Pixelpositionen und sendet nur diese unverzüglich mit Mikrosekundengenauigkeit und Millisekunden- Latenz. Wenn sich die Intensität eines Pixels nicht oder nur geringfügig ändert, wird kein Event ausgelöst und für dieses Pixel keine Daten gesendet. Ein solcher
Sensor wird auch Veränderungssensor genannt.
Es kann eingestellt werden, ab welcher Intensitätdifferenz der
Veränderungssensor ein Event erkennt, zum Beispiel bei einer Änderung um einen gewissen Prozentsatz oder um einen gewissen Betrag. Es sind auch andere Definitionen einer Änderung möglich. Der Veränderungssensor ist ausgebildet, Intensitätsänderungen in einem Pixel von einem Zeitpunkt tnl zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen. Insbesondere gilt, dass tn2 - tnl = dt2 ist, wobei dt2 < 10"4 Sekunden ist. Vorzugsweise ergibt sich das Zeitintervall dt2 aus den von dem Veränderungssensor detektierten Zeitpunkten einer Intensitätsänderung. Die Zeitpunkte tnl und tn2 sowie das Zeitintervall dt2 sind vorzugsweise veränderlich und/oder nicht zwangsläufig konstant für verschiedene Intensitätsänderungen. Beispielsweise ist das Zeitintervall dt2 variabel und ergibt sich aus den detektierten Intensitätsänderungen in einer Zelle und/oder aus der Übertragungsrate des Veränderungssensors.
Offenbarung der Erfindung
Das Verfahren zur Erkennung eines Blattrandes weist als ersten Schritt das Erfassen von Events eines Bildes eines mit Pflanzen oder Vegetation
bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden auf.
Ein derartiges Bild eines mit Pflanzen bewachsenen Bodens weist in der Regel hauptsächlich zwei Arten von Bereichen auf. Zum einen ist dies ein Bereich, in dem die Farbe Grün vorherrscht, welche vom Chlorophyll der Pflanzen stammt.
Zum anderen ist dies ein Bereich, in dem eine vom Boden stammende bräunliche Farbe vorherrscht. Unter einer Pflanze soll eine Pflanze mit Blättern verstanden werden, deren Blätter Chlorophyll enthält.
Im Folgenden werden die Reflexionskoeffizienten von Vegetation und trockenem Boden beschrieben unter der Voraussetzung, dass im roten Spektralbereich und im nahen Infrarot gleich intensive Beleuchtung vorhanden ist und dass die verwendeten Sensoren eine gleiche spektrale Empfindlichkeit aufweisen.
Vegetation weist im sichtbaren Bereich einen sehr niedrigen
Reflexionskoeffizienten unter 25% auf, jedoch steigt der Reflexionskoeffizient vom roten Bereich zum NI R- Bereich, in dem er nahezu 50 % aufweist, steil an. Der Reflexionskoeffizient von trockenen Boden verändert sich weniger stark vom roten zum NI R- Bereich. Der entsprechende Wert des Reflexionskoeffizienten beträgt im roten Bereich ca. 25% und im NI R-Bereich ca. 30 bis 35%. Im ganzen NI R- Bereich ist der Reflexionskoeffizient der Vegetation deutlich höher als der Reflexionskoeffizient des trockenen Bodens. Im roten Spektralbereich ist der Reflexionskoeffizient des trockenen Bodens in der Regel größer als der
Reflexionskoeffizient der Vegetation, jedoch ist der Reflexionskoeffizient der Vegetation in Richtung des NI R-Bereichs größer als der Reflexionskoeffizient des trockenen Bodens.
Unter diesen Voraussetzungen werden bei relativer Bewegung der Kamera zur Szene, z.B. nach rechts, an den Helligkeitsgradienten Events erzeugt. Diese sind für Boden-Boden- bzw. Boden-Stein-Übergänge wegen der nahezu konstanten Reflektivität zwischen R- und NI R- gefiltertem Event-Strom positiv korreliert.
Für Vegetation ist die Reflektivitätsdifferenz beider Kanäle deutlich höher, so dass das Vorzeichen der Gradientenstärke im Fall eines Bodens mittlerer Reflektivität stets zwischen beiden Kanälen entgegengesetzt ist. Damit kehrt sich die ON-/OFF-Polarität der Events entsprechend um.
Falls der Boden dunkel ist, erhält man einen schwachen Gradienten im roten Kanal an den Pflanzenrändern und starke Gradienten im NI R-Kanal. Falls der Boden hell ist, erhält man starke Gradienten im R-Kanal an den Pflanzenrändern und schwache Gradienten im NI R-Kanal.
Das Verfahren benutzt für die Ermittlung eines Blattrandes eine Bodenauflösung zwischen 0,5 und 1 mm pro Pixel. Der Vorteil dieser Bodenauflösung liegt darin, dass damit die sogenannte Blattrand- Kurve mit herkömmlichen Mitteln erfasst werden kann. Zudem ist diese Art der Erfassung sehr schnell und ermöglicht einen hohen Dynamikumfang. Dies gewährleistet eine zuverlässige Analyse der Blattrand- Kurve in Echtzeit.
Ferner ist vor einem ersten Pixel des Bildsensors ein Bandpassfilter eines ersten Frequenzbereichs und vor einem zum ersten Pixel benachbarten zweiten Pixel ein Bandpassfilter eines zweiten Frequenzbereichs angeordnet. Durch eine solche benachbarte Anordnung von Bandpassfiltern kann ein unterschiedliches Verhalten in den entsprechenden spektralen Bereichen von unterschiedlichen Materialien detektiert werden.
In einer Ausführungsform des Verfahrens ist der erste Frequenzbereich gleich dem zweiten Frequenzbereich. Dies ermöglicht die Verwendung eines Filters, welcher ein Machine-Learning zur falsch-positiv- Entfernung verwendet.
Bevorzugt ist der erste Frequenzbereich allerdings das nahe Infrarot und der zweite Frequenzbereich ein roter Spektralbereich. Durch eine solche
benachbarte Anordnung von Bandpassfiltern im NI R- und im roten
Spektralbereich kann ein Blattrand zuverlässig erkannt werden.
Gemäß dem Verfahren wird bestimmt, dass ein Blattrand erkannt wurde, falls der erste Pixel zu einem ersten Zeitpunkt tl mindestens ein Event einer ersten
Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst, wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht. Hierbei ist unter dem Begriff„desselben Ortes das mit Pflanzen bewachsenen Bodens" insbesondere benachbarte Pixel eines Einzelbildes zu verstehen. Alternativ können hierunter auch Pixel im Abstand von bis zu drei Pixeln verstanden werden. Das oben genannte Merkmal ist insbesondere dann der Fall, falls der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten
Frequenzbereich eine gleich intensive Beleuchtung aufweist.
Alternativ wird gemäß dem Verfahren bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events entweder nur bei dem ersten oder dem zweiten Pixel erkannt wurden. Dies kann insbesondere durch geeignete Wahl von Schwellenwerten des Objektkontrastes erreicht werden. Hierbei können die Schwellenwerte für On- und Off- Events separat eingestellt werden. Die
Schwellenwerte können auch für die unterschiedlichen Kanäle, d.h. den R- Kanal und den NI R-Kanal separat eingestellt werden. Dieser Fall tritt unter anderem dann ein, falls der Boden dunkel oder hell ist.
Insbesondere durch geeignete Wahl der Schwellenwerte kann für beliebige Helligkeitsbedingungen erreicht werden, dass entweder der oben genannte erste Fall, wonach benachbarte Pixel eine entgegengesetzte Polarität aufweisen oder der oben genannte zweite Fall, wonach bei benachbarten Pixeln lediglich ein
Pixel Events aufweist, auftritt.
Alternativ lässt sich für beliebige Helligkeitsverhältnisse die gleiche Information auch aus dem Helligkeitshistogramm des Vollbildes folgern. Hierbei bietet sich das Verfahren der Szenenrekonstruktion an, das z.B. unter anderem in der wissenschaftlichen Veröffentlichung mit dem Titel„Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera" von Hanme Kim, Stefan
Leutenegger, Andrew J. Davison in European Conference on Computer Vision, ECCV 2016: Computer Vision - ECCV 2016, pp 349-364, veröffentlicht wurde, gezeigt wird. Dort siehe insbesondere Figur 4.
Hierbei ist das Helligkeitshistogramm in mindestens einem der beiden
Farbkanäle bimodal, im Fall der mittleren Bodenhelligkeit sogar in beiden, wodurch eine automatische Festlegung des Kontrastschwellwertes bei der Eventerzeugung ermöglicht wird, z.B. per Otsu- Verfahren.
Wie bereits obenstehend erläutert, stellen Intensitätsänderungen an den einzelnen Pixelpositionen Events dar. Ein detektiertes Event wird unverzüglich mit Mikrosekundengenauigkeit und Millisekunden-Latenz an eine Recheneinheit gesendet. Wenn nur die beiden benachbarten Pixel im Zeitraum betrachtet werden, so liefert der eventbasierte Bildsensor für jeden Pixel eine zeitabhängige Funktion, welche für jeden Zeitpunkt angibt, ob ein Event detektiert wurde oder nicht. Falls ein Event detektiert wurde, gibt die Funktion zusätzlich die
Intensitätsänderung mit an.
Wann Events als gleichzeitig anzusehen sind, hängt von einem Zeitfenster ab. Die Größe des Zeitfensters hängt von Bodenauflösung und Geschwindigkeit ab. Falls z.B. zwei Pixel einen Millimeter abbilden und die Geschwindigkeit 1 Meter pro Sekunden beträgt, so sind Events mit einem Zeitunterschied von ungefähr einer halben Millisekunde als gleichzeitig anzusehen. Wie an anderer Stelle beschrieben, detektiert man dann bei gegensätzlicher Polarität der Events einen Blattrand.
Durch den Einsatz einer entsprechenden Auswertungssoftware können mithilfe des beschriebenen Verfahrens Blattrand-Informationen extrahiert und die zugehörigen Pflanzenarten in Echtzeit ermittelt werden. Das Verfahren generiert durch den Einsatz von eventbasierten Bildsensoren eine geringe Datenrate, was sich vorteilhaft auf die nachfolgende Datenverarbeitung auswirkt und effiziente lokale Berechnungen an den Kamera- und Feldspritzenmodulen ermöglicht. Als besonders vorteilhaft stellt sich dabei auch die hohe Robustheit des
Verfahrens bei einem Dynamikumfang von 130 dB dar. Damit wird ein störungsfreier Ablauf der Blattranderkennung selbst bei sich schnell bewegenden Kameras und Tageslichtbedingungen sichergestellt.
Das Erfassen von Events durch den eventbasierten Bildsensor ermöglicht es vorteilhafterweise, Bereiche gleicher Semantik im abgebildeten Bereich als solche zu finden und zu klassifizieren.
Insbesondere hängt die Dauer zwischen den beiden Zeitpunkten tl und t2 bei einer vorgegebenen Fahrtrichtung von einer ersten Richtung, welche von einem Mittelpunkt des ersten Pixels zu einem Mittelpunkt des zweiten Pixels verläuft, und einer zweiten Richtung, welche einer tangentialen Richtung des Blattrandes entspricht, ab.
Bevorzugt werden die Events mit einem eventbasierten Bildsensors erfasst. Der eventbasierte Bildsensor ist bevorzugt ein DVS-Sensor. Da die detektierten Events in der Regel sehr viel weniger Speicherplatz benötigen als die
Speicherung jedes einzelnen Pixels für jedes Frame, ist die von einer DVS- Kamera gelieferte Datenmenge sehr viel geringer als von einem gewöhnlichen Bildsensor. Ferner ist die Verarbeitungsgeschwindigkeit eines DVS-Sensors deutlich schneller als bei gewöhnlichen Kameras. Da ein DVS-Sensor einzelne Pixel unabhängig betrachtet, wird ein sehr viel höherer Dynamikumfang bis zu 130 d B ermöglicht. Dieser hohe Dynamikumfang verhindert überbelichtete Bildbereiche, was wiederum eine zuverlässigere Bildauswertung und somit eine genauere Erkennung des Blattrandes ermöglicht.
Gemäß einer bevorzugten Ausführungsform liegt die Bodenauflösung zwischen 0,1 und 1 mm pro Pixel. Dadurch können vorteilhafterweise feinere Strukturen in den aufgenommenen Bildern aufgelöst werden. Dies trägt dazu bei, dass unterschiedlichen Pflanzenarten zuverlässiger voneinander abgegrenzt werden können.
Gemäß einer weiteren Ausführungsform ist vor dem Bildsensor ein Farbfilterarray (engl.: color filter array (C FA)) aus Band passfiltern im NI R- und R- Spektralbereich angeordnet. Hierbei steht der R-Spektralbereich für den roten Spektralbereich.
Die beiden unterschiedlichen Bandpassfilter können vorteilhafterweise im Schachbrettmuster angeordnet sein. Dadurch wird vorteilhafterweise erreicht,
dass neben jedem Pixel mit NI R- Bandpassfilter einen Pixel mit Bandpassfilter im roten Spektralbereich angeordnet ist. Dieser wiederum den Vorteil, dass für jeden Pixel eine Blattranderkennung durchgeführt werden kann. Gemäß einer anderen Ausführungsform sind die beiden unterschiedlichen
Bandpassfilter streifenförmig angeordnet. Hierbei sind die Streifen bevorzugt quer zur Fahrtrichtung angeordnet. Dies hat den Vorteil, dass mithilfe dieser Anordnung jeder Blattrandübergang erfasst werden kann. Gemäß noch einer weiteren Ausführungsform ist das Farbfilterarray NDVI- optimiert. Unter einem NDVI-optimierten Farbfilterarray versteht man, dass das Farbfilterarray optimal zwischen dem NI R und dem roten Spektralbereich unterscheidet, so dass der NDVI-Index eine hohe Aussagekraft aufweist. Dies ist insbesondere dann der Fall, wenn der NI R- Band passfilter des Farbfllterarrays um 850 nm und der R-Bandpassfilter des Farbfllterarrays um 660 nm zentriert ist.
Die jeweiligen Bandpassfilter weisen bevorzugt eine Breite von 20 nm auf. Durch ein solches Farbfilterarray wird eine optimale Unterscheidung zwischen
Vegetation und Boden entsprechend dem NDVI erreicht. Bevorzugt ist vor einem dritten Pixel des Bildsensors ein Bandpassfilter eines dritten Frequenzbereiches angeordnet. Gemäß einer solchen Ausführungsform weist das Farbfilterarray einen dritten Bandpassfilter auf, welcher bevorzugt im grünen Farbbereich liegt. Hierdurch kann vorteilhafterweise, die Genauigkeit der Erkennung des Blattrandes weiter erhöht werden. Es können zum Beispiel neben dem NDVI-Index auch andere Indices, wie z.B. Excessive Green, verwendet werden. Bevorzugt ist das Farbfilterarray für andere Filter optimiert, zum Beispiel für den Excessive Green Index.
Gemäß einer weiteren bevorzugten Ausführungsform weist der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung auf. Falls dies nicht der Fall ist, wird alternativ die Intensität im ersten Frequenzbereich und im zweiten Frequenzbereich bestimmt. Dies kann auch pixelweise geschehen. Bevorzugt wird ein neues Bild berechnet, bei dem die Intensität im ersten und zweiten Frequenzbereich gleich oder identisch ist. Dies kann ebenfalls pixelweise geschehen.
Gemäß einer weiteren Ausführungsform wird ein passierendes Objekt mehrfach vermessen. Unter einem passierenden Objekt versteht man ein Objekt, welches einen Erfassungsbereich des eventbasierten Bildsensors passiert. Da die Fahrtgeschwindigkeit und die Fahrtrichtung des Fahrzeugs und die Orientierung und Position des eventbasierten Bildsensors relativ zum Fahrzeug bekannt sind, kann ein Objekt, welches von dem Bildsensor erkannt wird, nachverfolgt werden. Falls sich das Objekt während der Erfassung relativ zum Bildsensor nicht dreht, werden alle Punkte des Objektes mehrfach aufgenommen. Bevorzugt wird das passierende Objekt kontinuierlich vermessen. Durch die mehrfache oder kontinuierliche Vermessung des Objektes wird eine zeitliche Mittelung möglich, welche wiederum eine Erhöhung der Erfassungsgenauigkeit und somit auch eine genauere Detektion des Blattrandes ermöglicht. Gemäß einer weiteren Ausführungsform wird eine Wuchshöhe einer Pflanze aus mindestens einem Bild des mit Pflanzen bewachsenen Bodens ermittelt. Hierbei wird unter einem Bild ein mit einem eventbasierten Bildsensor aufgenommenes Bild verstanden. Bevorzugt wird die Wuchshöhe aus einer Vielzahl von Bildern des mit Pflanzen bewachsenen Bodens ermittelt. Voraussetzung hierfür ist, dass aus dem mindestens einen Bild ein interpretierbares Flussfeldes bestimmt werden kann. Im Stand der Technik ist die Technik„Structure from motion (SfM)" bekannt. Diese Technik ist photogrammetrische Bildgebungstechnik für dreidimensionale Strukturen auf Basis von zweidimensionalen Bildsequenzen. Diese Technik wird in den Bereichen„Computer Vision" und visuelle
Wahrnehmung untersucht. Menschen und andere Lebewesen können dreidimensionale Strukturen aufgrund der projizierten zweidimensionalen Bewegung eines bewegten Objektes oder einer Szene im Gehirn rekonstruieren. Die Ermittlung der Wuchshöhe bringt den Vorteil mit sich, dass nachfolgende Spritzvorgänge exakter dosiert werden können und damit flexibel an die jeweiligen Gegebenheiten angepasst werden können.
Bei Aufnahme von Bildern eines mit Pflanzen bewachsenen Bodens mit einer bewegten Kamera, deren Geschwindigkeitsverlauf bekannt ist, brauchen Bereiche des Bildes, welche näher der Kamera sind für einen Bilddurchgang weniger Zeit als weiter entfernte Bereiche des Bildes. Somit ist das durch die
Kamera aufgenommene Flussfeld ein interpretierbares Flussfeld. Für metrische Genauigkeit der Ergebnisse müssen nur intrinsische Parameter der Optik wie die fokale Länge (Öffnungswinkel) und Fahrgeschwindigkeit bekannt sein.
Vergleichende Aussagen ohne metrische Genauigkeit sind auch ohne diese Kalibrierung möglich.
Durch die zeitkontinuierliche Aufnahme von Events führen auch Verdeckungen kleiner, bodennaher Unkräuter in hochwachsenden Kulturen mit breiten Blättern (z.B. Mais) seltener zu fehlenden Detektionen als zeitdiskrete Vollbildaufnahmen.
Bevorzugt weist das Verfahren einen maschinenbasierten Lernalgorithmus zum Erkennen einer Klassifikation der Pflanze auf. Mit dessen Hilfe wird die
Bestimmung der Pflanzenart fortwährend verbessert und die
Verfahrensergebnisse insgesamt genauer.
Das Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel erkennt in einem ersten Schritt des Verfahrens einen Blattrand gemäß dem obenstehend dargelegten Verfahren. In einem zweiten Schritt des Verfahrens wird eine Blattform der Pflanze basierend auf dem erkannten Blattrand der Pflanze erkannt. Für einen Standbild eines Ackerbodens mit einem Blatt wird für jedes Pixelpaar, bei dem nur ein Pixel vorwiegend Events detektiert, einen Blattrand erkannt. Dementsprechend kann für das gesamte Standbild jede Stelle des Blattrandes erkannt werden. Falls jede Stelle des Blattrandes bekannt ist, kann eine Blattform bestimmt oder erkannt werden. Für ein bewegtes Bild kann für jeden Zeitpunkt, an dem man das Blatt sieht, eine Blattform bestimmt werden.
In einem dritten Schritt des Verfahrens wird anhand der bestimmten Blattform der Pflanze eine Klassifikation der Pflanze bestimmt. Dies hat den Vorteil, dass die somit klassifizierte Pflanze gezielt mit einem für diese Pflanze passenden Mittel behandelt werden kann.
In einem vierten Schritt des Verfahrens wird die Pflanze mit einem der
Klassifikation der Pflanze entsprechenden Mittel behandelt. Hierdurch wird vorteilhafterweise erreicht, dass bestimmte Pflanzen selektiv oder gezielt
behandelt werden können. Zum Beispiel ist es möglich, dass Unkräuter gezielt mit einem Unkrautbekämpfungsmittel oder Herbizid behandelt wird. Alternativ oder zusätzlich können andere erkannte Pflanzen mit anderen Mitteln behandelt werden. Ein solches Mittel ist insbesondere ein Pflanzenschutzmittel, ein Pestizid, ein Insektizid, ein Fungizid, ein Herbizid, ein Biozid, ein Bakterizid, ein
Viruzid, ein Akarizid, ein Avizid, ein Molluskizid, ein Nematizid, ein Ovizid oder ein Rodentizid. Die gezielte Behandlung der Pflanze mit einem für diese Pflanze passenden Mittel hat den Vorteil, dass keine Ressourcen verschwendet werden, insbesondere werden keine Pflanzen geschädigt, da keine Pflanze mit einem unpassenden Mittel behandelt wird.
Das Verfahren zur gezielten Behandlung von Pflanzen ermöglicht eine schnelle Differenzierung zwischen den verschiedenen Pflanzenarten und darauf aufbauend eine gezielte Behandlung der jeweiligen Pflanzenart mit dem passenden Mittel.
Ferner betrifft die Erfindung eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes mithilfe durch einen eventbasierten Bildsensor aufgenommenen Bilder. Diese Verwendung ist bereits im Rahmen des oben beschriebenen Verfahrens zur Erkennung eines Blattrandes offenbart worden.
Daraus ergeben sich aber auch die mit der Verwendung einhergehenden Vorteile.
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem elektronischen Steuergerät oder Rechengerät abläuft. Hierbei ist sowohl das Verfahren zur Erkennung eines Blattrandes als auch das Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel gemeint. Dies ermöglicht die Implementierung des Verfahrens in einem herkömmlichen Steuergerät, ohne hieran bauliche
Veränderungen vornehmen zu müssen. Hierzu ist das Computerprogramm auf einem maschinenlesbaren Speichermedium gespeichert. Durch Aufspielen des Computerprogramms auf ein herkömmliches elektronisches Steuergerät wird das elektronische Steuergerät erhalten, welches eingerichtet ist, einen Blattrand zu erkennen oder eine Pflanze gezielt zu behandeln.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird in der nachfolgenden Beschreibung näher erläutert.
Figur 1 zeigt ein Ablaufdiagramm eines Verfahrens zur Blattranderkennung gemäß einem Ausführungsbeispiel der Erfindung.
Ausführungsbeispiel der Erfindung
Figur 1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zur Blattranderkennung. In einem ersten Schritt 110 des Verfahrens 100 werden Events eines Bildes eines mit Pflanzen bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden mithilfe eines eventbasierten Bildsensors erfasst. Die hierbei verwendete Bodenauflösung beträgt 0,5 mm pro Pixel und vor dem Bildsensor ist ein NDVI-optimiertes Farbfilterarray (CFA) aus Band passfiltern im NI R- und R- Spektralbereich angeordnet. Hierbei ist der NI R- Band passfilter um 850 nm und der R- Bandpassfilter um 660 nm zentriert.
In einem zweiten Schritt 120 des Verfahrens 100 wird bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events zweier benachbarter Pixel vorwiegend nur bei einem der beiden benachbarten Pixel erkannt wurden. Der
Schritt 120 wird für alle benachbarten Pixel der erfassten Events des Bildes durchgeführt. Dies bedeutet ebenfalls, dass das Verfahren 100 ein passierendes Objekt mehrfach vermessen wird. Somit erhält man den Blattrand für alle aufgenommenen Bilder der Pflanze, woraus man eine Blattform der Pflanze bestimmen kann.
In Schritt 130 des Verfahrens 100 wird eine Wuchshöhe einer Pflanze aus allen Bildern ermittelt, welche dieselbe Pflanze des bewachsenen Bodens zeigen.
Im darauf folgenden Schritt 140 des Verfahrens 100 wird ein maschinenbasierter Lernalgorithmus dazu benutzt, anhand der von der Pflanze aufgenommenen Bilder des Blattrandes die Pflanze zu klassifizieren.
Im nächsten Schritt 150 Verfahrens 100 wird die klassifizierte Pflanze gezielt mit einem der Klassifikation der Pflanze entsprechenden Blattbehandlungsmittel behandelt.
Claims
Ansprüche
1. Verfahren (100) zur Erkennung eines Blattrandes mit folgenden
Schritten:
Erfassen (110) von Events eines Bildes eines mit Pflanzen
bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden, wobei eine Bodenauflösung des Bildes zwischen 0,5 und 1 mm pro Pixel liegt; wobei
vor einem ersten Pixel des Bildes ein Bandpassfilter eines ersten
Frequenzbereichs und vor einem zweiten Pixel des Bildes ein
Bandpassfilter eines zweiten Frequenzbereichs angeordnet ist; und
Bestimmen (120), dass ein Blattrand erkannt wurde,
falls der erste Pixel zu einem ersten Zeitpunkt tl mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst,
wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht oder
falls die detektierten Events entweder nur bei dem ersten oder nur dem zweiten Pixel erkannt wurden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der mit
Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung aufweist.
3. Verfahren nach einem der vorangegangen Ansprüche, dadurch
gekennzeichnet, dass die Events mit einem eventbasierten Bildsensors erfasst werden.
Verfahren nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass die Bodenauflösung zwischen 0,1 und 1 mm pro Pixel liegt.
Verfahren nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass der erste Frequenzbereich das nahe Infrarot und der zweite Frequenzbereich ein roter Spektralbereich ist.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vor einem dritten Pixel des Bildsensors ein Bandpassfilter eines dritten Frequenzbereiches angeordnet ist.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vor dem Bildsensor ein Farbfilterarray aus
Bandpassfiltern im NI R- und R-Spektralbereich angeordnet ist.
Verfahren nach dem vorangegangenen Anspruch, dadurch
gekennzeichnet, dass das Farbfilterarray NDVI-optimiert ist.
Verfahren nach dem vorangegangenen Anspruch, dadurch
gekennzeichnet, dass das der NI R-Bandpassfilter um 850 nm und der R- Bandpassfilter um 660 nm zentriert ist.
Verfahren nach einem der vorangegangenen Ansprüche,
gekennzeichnet durch eine mehrfache Vermessung eines passierenden Objektes.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Wuchshöhe einer Pflanze aus einer kurzen zeitlichen Sequenz von Bildern des mit Pflanzen bewachsenen Bodens ermittelt werden (130).
Verfahren nach einem der vorangegangenen Ansprüche,
gekennzeichnet durch einen maschinenbasierten Lernalgorithmus zum Erkennen einer Klassifikation der Pflanze (140).
13. Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel mit den folgenden Schritten:
Erkennen eines Blattrandes gemäß einem Verfahren nach einem der Ansprüche 1 bis 12:
Erkennen einer Blattform der Pflanze basierend auf einem erkannten Blattrand der Pflanze;
Bestimmen (140) einer Klassifikation der Pflanze;
Behandlung (150) der Pflanze mit einem der Klassifikation der Pflanze entsprechenden Mittel.
14. Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes bei mithilfe eines eventbasierten Bildsensors
aufgenommenen Bildern.
15. Computerprogramm, welches eingerichtet ist, jeden Schritt eines
Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen.
16. Maschinenlesbares Speichermedium, auf welchem ein
Computerprogramm nach dem vorhergehenden Anspruch gespeichert ist.
17. Elektronisches Steuergerät, welches eingerichtet ist, um mittels eines Verfahrens nach einem der Ansprüche 1 bis 12 einen Blattrand zu erkennen oder um mittels eines Verfahrens nach Anspruch 13, eine Pflanze gezielt zu behandeln.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017217275.4A DE102017217275A1 (de) | 2017-09-28 | 2017-09-28 | Verfahren zur Erkennung eines Blattrandes, Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel und Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes |
| PCT/EP2018/073932 WO2019063255A1 (de) | 2017-09-28 | 2018-09-06 | Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP3688660A1 true EP3688660A1 (de) | 2020-08-05 |
Family
ID=63517892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP18765629.3A Ceased EP3688660A1 (de) | 2017-09-28 | 2018-09-06 | Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3688660A1 (de) |
| BR (1) | BR112020002571A2 (de) |
| DE (1) | DE102017217275A1 (de) |
| WO (1) | WO2019063255A1 (de) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256951A (zh) * | 2020-09-09 | 2021-01-22 | 青岛大学 | 一种智能居家苗芽种植系统 |
| DE102020215415A1 (de) | 2020-12-07 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild und Bildverarbeitungseinrichtung |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9075008B2 (en) * | 2003-11-07 | 2015-07-07 | Kyle H. Holland | Plant treatment based on a water invariant chlorophyll index |
| AU2012228772A1 (en) * | 2011-03-16 | 2013-10-17 | Syddansk Universitet | Spray boom for selectively spraying a herbicidal composition onto dicots |
| EP3032946B1 (de) * | 2013-07-11 | 2022-10-05 | Blue River Technology Inc. | Verfahren zur automatischen phänotypenmessung und -auswahl |
| US9336584B2 (en) * | 2014-06-30 | 2016-05-10 | Trimble Navigation Limited | Active imaging systems for plant growth monitoring |
-
2017
- 2017-09-28 DE DE102017217275.4A patent/DE102017217275A1/de active Pending
-
2018
- 2018-09-06 EP EP18765629.3A patent/EP3688660A1/de not_active Ceased
- 2018-09-06 BR BR112020002571-2A patent/BR112020002571A2/pt not_active IP Right Cessation
- 2018-09-06 WO PCT/EP2018/073932 patent/WO2019063255A1/de unknown
Also Published As
| Publication number | Publication date |
|---|---|
| BR112020002571A2 (pt) | 2020-08-04 |
| DE102017217275A1 (de) | 2019-03-28 |
| WO2019063255A1 (de) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1267178B1 (de) | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes | |
| DE102016118227A1 (de) | Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen | |
| EP3014569B1 (de) | Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs | |
| WO2018185083A2 (de) | Lichtlaufzeitkamera | |
| DE112009000949T5 (de) | Detektion eines freien Fahrpfads für ein Fahrzeug | |
| EP1531342B1 (de) | Verfahren zur Erkennung von Fussgängern | |
| DE102013019138A1 (de) | Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug | |
| DE112010003752T5 (de) | Dynamische echtzeitreferenzbilderzeugung für ein entfernungsbildgebungssystem | |
| DE102020123938A1 (de) | Systeme und verfahren zur überwachung des kornverlusts | |
| EP3615887A1 (de) | Materialprüfung mit winkelvariabler beleuchtung | |
| EP3688660A1 (de) | Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes | |
| AT508711B1 (de) | Verfahren und vorrichtung zur suche und erkennung von in landwirtschaftlichen feldern und wiesen versteckten tieren | |
| EP3663881B1 (de) | Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren | |
| DE10148062A1 (de) | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes | |
| DE102007041333B4 (de) | Berührungslos arbeitendes Zählsystem | |
| WO2016107722A1 (de) | Verfahren zum bestimmen von partikeln | |
| EP3247990A1 (de) | Verfahren und vorrichtung zur ermittlung der wirkung von wirkstoffen an nematoden und anderen organismen in wässrigen tests | |
| WO2016087202A1 (de) | Bildverarbeitung mittels kreuzkorrelation | |
| WO2013068521A1 (de) | Vorrichtung und verfahren zum mechanischen ausdünnen von blüten | |
| DE102016210056A1 (de) | Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung | |
| WO2019185184A1 (de) | Vorrichtung und verfahren zur optischen positionserkennung transportierter objekte | |
| DE102011083745B4 (de) | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung | |
| WO2021180547A1 (de) | Verfahren und vorrichtung zum verarbeiten von bildern | |
| DE102016223180A1 (de) | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts | |
| DE102020113183A1 (de) | Kamera und Verfahren zur Erfassung von bewegten Objekten |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20200428 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20220519 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R003 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED |
|
| 18R | Application refused |
Effective date: 20221016 |