BR102021025314A2

BR102021025314A2 - PLANTS CLASSIFICATION METHOD FOR AGRICULTURAL PURPOSES

Info

Publication number: BR102021025314A2
Application number: BR102021025314-2A
Authority: BR
Inventors: Andreas Weimer; Farid Khani
Original assignee: Robert Bosch Gmbh
Priority date: 2020-12-15
Filing date: 2021-12-15
Publication date: 2022-06-28
Also published as: DE102020215877A1

Abstract

MÉTODO DE CLASSIFICAÇÃO DE PLANTAS PARA FINS AGRÍCOLAS. A presente invenção refere-se a uma proposta de um método para classificar partes de plantas (34) em informações de imagem, em particular para fins agrícolas, com as seguintes etapas: identificação de partes de plantas (34) na informação de imagem usando um primeiro valor limite de segmentação por meio de uma unidade de classificação a fim de obter informação de imagem de planta (32); identificar partes da planta de referência nas informações de imagem usando um segundo valor de limite de segmentação por meio da unidade de classificação, a fim de obter informações de imagem de planta de referência, o segundo valor de limite de segmentação sendo diferente do primeiro valor de limite de segmentação e ainda selecionado de modo que o as partes da planta de referência da informação da imagem da planta de referência correspondem às partes da planta identificadas (34) do Inclui informação da imagem da planta (32); comparar as partes da planta identificadas (34) com as partes da planta de referência identificadas por meio da unidade de classificação; e classificar partes da planta identificadas (34) da informação de imagem da planta (32) na mesma classe de planta, se estas estiverem dispostas em uma parte da planta de referência identificada e coerente, por meio da unidade de classificação.PLANTS CLASSIFICATION METHOD FOR AGRICULTURAL PURPOSES. The present invention relates to a proposal for a method for classifying plant parts (34) in image information, in particular for agricultural purposes, with the following steps: identification of plant parts (34) in image information using a first segmentation threshold value by means of a classification unit in order to obtain plant image information (32); identify parts of the reference plant in the image information using a second segmentation threshold value through the classification unit in order to obtain reference plant image information, the second segmentation threshold value being different from the first value of segmentation boundary and further selected so that the reference plant parts of the reference plant image information correspond to the identified plant parts (34) of the Includes plant image information (32); comparing the identified plant parts (34) with the reference plant parts identified by means of the classification unit; and classifying identified plant parts (34) of the plant image information (32) into the same plant class, if these are arranged in an identified and coherent reference plant part, by means of the classification unit.

Description

PLANTS CLASSIFICATION METHOD FOR AGRICULTURAL PURPOSES

Technique Field

[0001] A presente invenção refere-se a um método para classificar partes de plantas em informação de imagem, em particular para fins agrícolas, uma unidade de classificação correspondente e um dispositivo de pulverização agrícola para aplicação de um meio, em particular pulverização de líquido de acordo com o preâmbulo das reivindicações independentes.[0001] The present invention relates to a method for classifying plant parts into image information, in particular for agricultural purposes, a corresponding classification unit and an agricultural spraying device for applying a medium, in particular spraying liquid. according to the preamble of the independent claims.

[0002] O índice de vegetação diferenciada normalizada, ou "NDVI" (índice de Vegetação de Diferença Normalizada) em denominação breve, é um índice que apresenta a biomassa, ou seja, a proporção de plantas, em uma imagem. As plantas refletem relativamente pouca radiação na faixa espectral vermelha e uma quantidade relativamente grande na faixa espectral do infravermelho próximo. Para determinar o NDVI, podem ser utilizadas câmeras infravermelhas ou câmeras com sensores Bayer na observação da vegetação.[0002] The Normalized Differentiated Vegetation Index, or "NDVI" (Normalized Difference Vegetation Index) in short, is an index that presents the biomass, that is, the proportion of plants, in an image. Plants reflect relatively little radiation in the red spectral range and a relatively large amount in the near-infrared spectral range. To determine the NDVI, infrared cameras or cameras with Bayer sensors can be used to observe the vegetation.

[0003] Aqui, as folhas de uma planta costumam ser mais bem segmentadas do que o restante da planta. Para determinar a afiliação de cada objeto encontrado, no entanto, toda a planta deve ser segmentada.[0003] Here, the leaves of a plant are usually better segmented than the rest of the plant. To determine the affiliation of each object found, however, the entire plant must be segmented.

[0004] Um método para classificação de plantas é conhecido a partir de DE 10 2017 210 804 A1. No método conhecido, uma área de uma área que pode ser utilizada é registrada por meio de uma unidade de detecção óptica e/ou infravermelha e os dados da imagem gravada são avaliados pela segmentação das plantas usando valores de limiar no NDVI. As séries de cultura são reconhecidas a partir desta segmentação. O objetivo é reconhecer plantas úteis que estão dispostas na forma de fileiras de plantas, a fim de ser capaz de distinguir as plantas úteis de plantas localizadas entre as plantas úteis ou fileiras de plantas, que são classificadas em particular como ervas daninhas para serem capaz de tratá-los, por exemplo, com meios vaporizadores adequados.[0004] A method for classifying plants is known from DE 10 2017 210 804 A1. In the known method, an area of a usable area is recorded by means of an optical and/or infrared detection unit and the recorded image data is evaluated by segmenting the plants using threshold values in the NDVI. Culture series are recognized from this segmentation. The aim is to recognize useful plants that are arranged in the form of plant rows, in order to be able to distinguish useful plants from plants located between useful plants or plant rows, which are classified in particular as weeds to be able to treat them, for example, with suitable vaporizing means.

Disclosure of the invention

[0005] A presente invenção se refere a um método para classificar partes de plantas em informações de imagem, em particular para fins agrícolas, com as seguintes etapas: - A identificação de partes de plantas na informação de imagem usando um primeiro valor limite de segmentação por meio de uma unidade de classificação a fim de obter informações de imagem de planta. - A identificação de partes da planta de referência na informação de imagem usando um segundo valor de limite de segmentação por meio da unidade de classificação, a fim de obter informações de imagem de planta de referência, o segundo valor de limite de segmentação sendo diferente do primeiro valor de limite de segmentação e ainda selecionado de modo que o partes da planta de referência da informação da imagem da planta de referência compreendem as partes da planta identificadas da informação da imagem da planta. - A comparação de partes da planta identificadas com as partes da planta de referência identificadas por meio da unidade de classificação. A classificação de partes identificadas da planta da informação de imagem da planta na mesma classe de planta, se estas estiverem dispostas em uma parte da planta de referência identificada coerente, por meio da unidade de classificação.[0005] The present invention relates to a method for classifying plant parts in image information, in particular for agricultural purposes, with the following steps: - Identification of plant parts in image information using a first segmentation threshold value through a classification unit in order to obtain plant image information. - The identification of reference plant parts in the image information using a second segmentation threshold value through the classification unit in order to obtain reference plant image information, the second segmentation threshold value being different from the first segmentation threshold value is further selected so that the reference plant parts of the reference plant image information comprise the identified plant parts of the plant image information. - Comparison of identified plant parts with reference plant parts identified through the classification unit. The classification of identified plant parts of the plant image information into the same plant class, if these are arranged in a coherent identified reference plant part, by means of the classification unit.

[0006] A presente invenção também se refere a uma unidade de classificação que está configurada para realizar as seguintes etapas: -O recebimento de informações de imagem com partes de plantas. - A identificação de partes de plantas na informação de imagem usando um primeiro valor de limiar de segmentação para obter informação de imagem de planta. - A identificação de partes da planta de referência nas informações de imagem usando um segundo valor de limite de segmentação a fim de obter informações de imagem de planta de referência, no qual o segundo valor de limite de segmentação sendo diferente do primeiro valor de limite de segmentação e, além disso, ainda selecionado de modo que as partes de planta de referência identificadas da referência a informação da imagem da planta compreende as partes da planta identificadas da informação da imagem da planta. A comparação das partes da planta identificadas com as partes da planta de referência identificadas. - Classificação de partes identificadas da planta da informação da imagem da planta na mesma classe de planta, se estas estiverem organizadas em uma parte da planta de referência identificada e coerente.[0006] The present invention also refers to a classification unit that is configured to perform the following steps: -Receiving image information with plant parts. - The identification of plant parts in the image information using a first segmentation threshold value to obtain plant image information. - The identification of reference plant parts in the image information using a second segmentation threshold value in order to obtain reference plant image information, in which the second segmentation threshold value being different from the first segmentation threshold value segmentation and, furthermore, further selected so that the identified reference plant parts of the reference plant image information comprise the identified plant parts of the plant image information. Comparison of the identified plant parts with the identified reference plant parts. - Classification of identified plant parts from the plant image information into the same plant class, if these are organized into an identified and coherent reference plant part.

[0007] Além disso, a presente invenção também se refere a um dispositivo de pulverização agrícola para a aplicação de um meio, em par-ticular, pulverização de líquido, em partes de plantas em uma área agrícola com, pelo menos, uma unidade de bocal de pulverização para aplicar o meio, pelo menos, uma unidade de detecção óptica para detectar partes da planta e uma unidade de classificação previamente descrita para classificar as partes da planta.[0007] Furthermore, the present invention also relates to an agricultural spraying device for applying a medium, in particular spraying liquid, to plant parts in an agricultural area with at least one unit of spray. spray nozzle for applying the medium, at least one optical detection unit for detecting plant parts and a previously described classification unit for classifying plant parts.

[0008] Finalmente, o objeto da presente invenção é um programa de computador que está configurado para realizar as etapas de um método descrito acima e/ou uma unidade de classificação descrita acima quando o programa de computador é executado em um computador, bem como em uma máquina, bem como um meio de armazenamento legível com o programa de computador armazenado no mesmo.[0008] Finally, the object of the present invention is a computer program that is configured to perform the steps of a method described above and/or a classification unit described above when the computer program is executed on a computer, as well as on a machine, as well as a readable storage medium with the computer program stored thereon.

[0009] O método ou as etapas do método são compreensivelmente realizados repetidamente.[0009] The method or steps of the method are understandably performed repeatedly.

[0010] O método destina-se, mas não se limita a, fins agrícolas. No contexto da presente invenção, um propósito agrícola pode ser entendido como um propósito que visa o cultivo econômico de plantas úteis.[0010] The method is intended for, but not limited to, agricultural purposes. In the context of the present invention, an agricultural purpose can be understood as a purpose aimed at the economic cultivation of useful plants.

[0011] No contexto do presente pedido, o termo "partes da planta" abrange tanto partes individuais ou componentes de uma planta, como, por exemplo, caules de plantas, caules de plantas e folhas de plantas, mas também grupos de tais partes individuais e plantas inteiras.[0011] In the context of the present application, the term "plant parts" encompasses both individual parts or components of a plant, such as, for example, plant stems, plant stems and plant leaves, but also groups of such individual parts and whole plants.

[0012] A etapa de identificação de partes de plantas pode incluir a detecção de um componente de cor, em particular, um componente de infravermelho e/ou um componente de cor verde, na informação da imagem. As luzes vermelha e infravermelha são as preferidas. As plantas ou partes de plantas refletem relativamente pouca radiação na faixa espectral do vermelho e uma quantidade relativamente grande na faixa espectral do infravermelho próximo. Aqui, por meio da unidade de detecção óptica, por exemplo, usando um valor de limiar NDVI predeterminado (índice de Vegetação Diferenciado Normalizado, ele é formado a partir de valores de reflexão no infravermelho próximo e faixa de comprimento de onda vermelho visível do espectro de luz), partes de plantas podem ser detectado por biomassa ou plantas vitais e partes de plantas do solo é realizada uma distinção. Uma imagem de planta NDVI é criada a partir da diferença normalizada entre as duas faixas espectrais, que representa as partes da planta e na qual as informações da imagem são subdivididas nas classes “planta” e “sem planta”. As partes da planta podem ser identificadas, por exemplo, de acordo com o pedido ainda não publicado DE 10 2020 215 415.[0012] The step of identifying plant parts may include detecting a color component, in particular, an infrared component and/or a green color component, in the image information. Red and infrared lights are preferred. Plants or plant parts reflect relatively little radiation in the red spectral range and a relatively large amount in the near-infrared spectral range. Here, by means of the optical detection unit, for example, using a predetermined NDVI threshold value (Normalized Differentiated Vegetation Index, it is formed from values of near infrared reflection and visible red wavelength range of the spectrum of light), plant parts can be detected by biomass or vital plants and soil plant parts a distinction is made. An NDVI plant image is created from the normalized difference between the two spectral bands, which represents the plant parts and in which the image information is subdivided into the “plant” and “no plant” classes. The plant parts can be identified, for example, according to the not yet published application DE 10 2020 215 415.

[0013] O primeiro limite de segmentação é selecionado de forma que apenas plantas reais sejam segmentadas. O segundo valor limite de segmentação é diferente do primeiro valor limite de segmentação e é ainda selecionado de tal forma que as partes da planta de referência identificadas da informação da imagem da planta de referência compreendem as partes da planta identificadas da informação da imagem da planta. Isto é, em outras palavras, que o segundo valor limite de segmentação é selecionado de tal forma que as partes da planta identificadas com o primeiro valor limite de segmentação e, além disso, partes maiores da planta nas quais estes estão contidos e possivelmente ou-tras partes da planta são identificadas. O segundo limiar de segmentação é preferencialmente selecionado de modo que caules inteiros da planta e/ou talos inteiros da planta e/ou folhas inteiras da planta sejam identificados.[0013] The first segmentation threshold is selected so that only real plants are segmented. The second segmentation threshold value is different from the first segmentation threshold value and is further selected such that the reference plant parts identified from the reference plant image information comprise the identified plant parts from the plant image information. That is, in other words, that the second segmentation threshold value is selected in such a way that the parts of the plant identified with the first segmentation threshold value and, in addition, larger parts of the plant in which these are contained and possibly other other parts of the plant are identified. The second segmentation threshold is preferably selected so that whole plant stems and/or whole plant stems and/or whole plant leaves are identified.

[0014] Se preferência, o primeiro valor de limiar de segmentação e/ou o segundo valor de limiar de segmentação é/são selecionados em função de uma espécie e/ou cultura das partes da planta. Alternativamente ou adicionalmente, o primeiro valor de limiar de segmentação e/ou o segundo valor de limiar de segmentação é/são, de preferência, selecionados como uma função da unidade de detecção óptica.[0014] If preferred, the first segmentation threshold value and/or the second segmentation threshold value is/are selected depending on a species and/or culture of the plant parts. Alternatively or additionally, the first segmentation threshold value and/or the second segmentation threshold value is/are preferably selected as a function of the optical detection unit.

[0015] Os valores de limite de segmentação podem ser inseridos manualmente, previamente definidos e transferidos para o sistema, ou valores predefinidos e valores que são definidos permanentemente no sistema.[0015] Segmentation threshold values can be entered manually, previously defined and transferred to the system, or predefined values and values that are permanently defined in the system.

[0016] Neste caso, observar que a escolha do limiar de segmentação correspondente é, em particular, um montante do próprio valor. No entanto, também pode ser um tipo de valor sem se afastar do escopo do presente pedido.[0016] In this case, note that the choice of the corresponding segmentation threshold is, in particular, an amount of the value itself. However, it can also be a value type without departing from the scope of this application.

[0017] O primeiro valor de limite de segmentação é, de preferência, um primeiro valor de limite de valor de cinza para uma imagem ou informação de imagem com informação espectral adequada para segmentação de planta, em particular, para uma imagem multiespectral com informação de cor vermelha e infravermelha próxima para cálculo de NDVI, ainda, em particular, um primeiro Valor limite de NDVI. Alternativamente ou adicionalmente, o segundo valor de limite de segmentação é, de preferência, um segundo valor de limite de valor de cinza para uma imagem ou informação de imagem com informação espectral adequada para segmentação de planta, em particular para uma imagem multiespectral com informação de cor vermelha e infravermelho próximo para cálculo de NDVI, ainda em particular, um segundo valor de limiar de NDVI. Consequentemente, os valores de limite de segmentação também podem ser valores de limite verdes.[0017] The first segmentation threshold value is preferably a first gray value threshold value for an image or image information with spectral information suitable for plant segmentation, in particular for a multispectral image with spectral information. red and near infrared color for NDVI calculation, yet, in particular, a first NDVI Threshold Value. Alternatively or additionally, the second segmentation threshold value is preferably a second gray value threshold value for an image or image information with spectral information suitable for plant segmentation, in particular for a multispectral image with spectral information. red color and near infrared for NDVI calculation, still in particular, a second NDVI threshold value. Consequently, targeting threshold values can also be green threshold values.

[0018] O segundo valor de limite de segmentação é, portanto, mais preferencialmente menor do que o primeiro valor de limite de segmentação. Aqui, os valores de limiar de NDVI são, de preferência, parametrizados dependendo do tipo de cultura e da unidade de detecção óptica ou sistema de câmera usado. Como o segundo limite de NDVI é mais baixo, as áreas que refletem menos nas informações da imagem também são identificadas como “plantas”, de modo que podem ser encontrados os caules das plantas, os talos das plantas e formas completas de folhas.[0018] The second targeting threshold value is therefore more preferably less than the first targeting threshold value. Here, the NDVI threshold values are preferably parameterized depending on the type of crop and the optical detection unit or camera system used. As the second NDVI threshold is lower, areas that reflect less in the image information are also identified as “plants”, so that plant stems, plant stalks and complete leaf shapes can be found.

[0019] Nesse sentido, a informação da imagem possui preferencialmente informação espectral adequada para segmentação da planta. Ou seja, a informação da imagem é uma imagem com informação espectral adequada para segmentação vegetal. Aqui, a informação da imagem é preferencialmente uma imagem multiespectral com informação de cor vermelha e infravermelha próxima para o cálculo de NDVI, mais preferencialmente uma imagem de planta NDVI. Consequentemente, a informação da imagem também pode ser uma imagem monocromática com sinais no espectro de comprimento de onda verde.[0019] In this sense, the image information preferably has spectral information suitable for plant segmentation. That is, the image information is an image with spectral information suitable for plant segmentation. Here, the image information is preferably a multispectral image with red and near infrared color information for the NDVI calculation, more preferably an NDVI plant image. Consequently, the image information can also be a monochromatic image with signals in the green wavelength spectrum.

[0020] A informação da imagem pode representar, por exemplo, uma seção de campo detectada por meio de uma unidade de detecção óptica. A informação da imagem é preferencialmente uma imagem ou imagem da seção do campo capturado. As plantas são identificadas e classificadas a partir das informações da imagem.[0020] The image information can represent, for example, a field section detected by means of an optical detection unit. The image information is preferably an image or image of the captured field section. Plants are identified and classified from the information in the image.

[0021] Uma etapa de detecção de uma seção de campo com plantas por meio de uma unidade de detecção óptica, em particular um dispositivo de pulverização agrícola, é fornecida de preferência para obter a informação de imagem. A etapa de detecção das seções de campo pode ocorrer, por exemplo, enquanto o dispositivo de pulverização agrícola está sendo conduzido sobre o campo com a unidade de detecção óptica. Compreensivelmente, as seções de campo dispostas lado a lado são detectadas essencialmente simultaneamente por uma pluralidade de unidades de detecção óptica. As etapas de detecção dos trechos do campo na direção de deslocamento são preferencialmente realizadas ou repetidas em um intervalo definido, em particular fixo ou adaptado à velocidade do dispositivo de pulverização agrícola. Em outras palavras, as seções de campo são gravadas com uma taxa de imagem ou fre-quência de imagem definida ou dependente da velocidade (= taxa de repetição).[0021] A step of detecting a section of field with plants by means of an optical detection unit, in particular an agricultural spraying device, is preferably provided to obtain the image information. The step of detecting the field sections can take place, for example, while the agricultural spraying device is being driven over the field with the optical detection unit. Understandably, the side-by-side field sections are detected essentially simultaneously by a plurality of optical detection units. The steps of detecting the stretches of field in the direction of travel are preferably carried out or repeated at a defined interval, in particular fixed or adapted to the speed of the agricultural spraying device. In other words, field sections are recorded with a defined or speed-dependent frame rate or frame frequency (= repetition rate).

[0022] A unidade de detecção óptica está preferencialmente disposta no dispositivo de pulverização agrícola. A unidade de detecção óptica pode compreender, pelo menos, uma câmera multiespectral e/ou hiperespectral e/ou infravermelho e/ou câmera e/ou câmera 3D. A unidade de aquisição óptica pode ser projetada para adquirir ou gravar imagens no NIR e/ou faixa visual. A unidade de detecção óptica pode ter uma luz ou uma unidade de iluminação. Várias unidades de detecção óptica podem estar previstas, as quais são projetadas para se comuni-carem umas com as outras. A unidade de detecção óptica ou as unidades de detecção óptica é/estão preferencialmente dispostas em uma barra de pulverização do dispositivo de pulverização agrícola.[0022] The optical detection unit is preferably arranged in the agricultural spraying device. The optical detection unit may comprise at least one multispectral and/or hyperspectral and/or infrared camera and/or 3D camera and/or camera. The optical acquisition unit can be designed to acquire or record images in the NIR and/or visual range. The optical detection unit may have a light or an illumination unit. Several optical detection units can be provided, which are designed to communicate with each other. The optical detection unit or optical detection units is/are preferably arranged on a spray bar of the agricultural spraying device.

[0023] A informação da imagem da planta representa a informação da imagem segmentada em “plantas” e “não plantas”, sendo o resultado da segmentação registrado na forma de objetos. Isso descreve muito bem as formas e tamanhos das partes da planta.[0023] The plant image information represents the image information segmented into “plants” and “non-plants”, being the segmentation result recorded in the form of objects. This very well describes the shapes and sizes of the plant parts.

[0024] Analogamente à informação da imagem da planta, a informação da imagem da planta de referência também representa a informação da imagem segmentada em “plantas” e “não plantas”, sendo o re-sultado da segmentação registrado na forma de objetos. Em comparação com as informações da imagem da planta, no entanto, o resultado da segmentação das informações da imagem da planta de referência é mais extenso, ou seja, contém os objetos da informação da imagem da planta na forma de objetos maiores nos quais estão contidos e possivelmente outros objetos que não estão contidos na informação da imagem da planta. Consequentemente, as informações da imagem da planta de referência são “mais borradas” do que as informações da imagem da planta.[0024] Analogously to the plant image information, the reference plant image information also represents the image information segmented into “plants” and “non-plants”, with the result of the segmentation recorded in the form of objects. Compared to the plant image information, however, the result of segmenting the reference plant image information is more extensive, i.e. it contains the objects of the plant image information in the form of the larger objects in which they are contained. and possibly other objects that are not contained in the plant image information. Consequently, the information from the reference plant image is “blurer” than the information from the plant image.

[0025] Na etapa de comparação das partes da planta identificadas com as partes da planta de referência identificadas, são determinados grupos de partes da planta, os quais são organizados em uma parte da planta de referência identificada e coerente. Em outras palavras, há uma espécie de sobreposição das informações da imagem da planta com as informações da imagem da planta de referência. Desta forma, partes de plantas que estão espacialmente separadas na informação da imagem podem ser classificadas como um grupo de objetos ou um objeto de planta ou pertencentes à mesma planta.[0025] In the step of comparing the identified plant parts with the identified reference plant parts, groups of plant parts are determined, which are organized into an identified and coherent reference plant part. In other words, there is a kind of overlap between the information from the plant image and the information from the reference plant image. In this way, parts of plants that are spatially separated in the image information can be classified as a group of objects or a plant object or belonging to the same plant.

[0026] Consequentemente, as partes da planta identificadas da informação de imagem da planta na etapa de classificação são classificadas na mesma classe de planta se estiverem dispostas em uma parte da planta de referência identificada e coerente. De preferência, as partes da planta são preferencialmente atribuÍdas à mesma planta. Neste caso, as partes da planta podem ser classificadas em uma primeira classe de planta de plantas úteis e/ou plantas de cultivo ou em uma segunda classe de planta de ervas daninhas.[0026] Consequently, the plant parts identified from the plant image information in the classification step are classified in the same plant class if they are arranged in an identified and coherent reference plant part. Preferably, the plant parts are preferably assigned to the same plant. In this case, the plant parts can be classified into a first plant class of useful plants and/or crop plants or a second class of weed plant.

[0027] A unidade de classificação é composta por um algoritmo de classificação de plantas nas informações da imagem. A unidade de classificação pode ser uma unidade de computação ou uma pluralidade de unidades de computação para processar sinais ou dados, pelo menos, uma unidade de memória para armazenar sinais ou dados, pelo menos, uma interface de comunicação para ler dados, em particular, para receber informações de imagem, e uma unidade de controle para a saída de dados, em particular sinais de controle para uma unidade, em particular um atuador. Uma unidade de classificação pode ser atribuída a cada unidade de detecção óptica ou cada unidade de detecção óptica pode ter sua própria unidade de classificação. A u nidadede classificação é ou as unidades de classificação são projetadas ou configuradas para processamento de imagem de modo que possa realizar etapas de cál-culo ou etapas de processamento de imagem para realizar o método de acordo com a invenção. Consequentemente, cada unidade de classificação tem um software de processamento de imagem correspondente. A unidade de computação pode ser, por exemplo, um processador de sinal, um micro controlador ou semelhante, em que a unidade de armazenamento pode ser uma memória flash, uma EPROM ou uma unidade de armazenamento magnético. A interface de comunicação pode ser projetada para ler ou enviar dados sem fio e/ou com fio, uma interface de comunicação que pode ler ou enviar dados com fio, por exemplo, pode ler esses dados eletricamente ou opticamente de uma linha de transmissão de dados correspondente ou enviá-los para uma linha de transmissão de dados correspondente.[0027] The classification unit is composed of a plant classification algorithm in the image information. The classification unit may be a computing unit or a plurality of computing units for processing signals or data, at least one memory unit for storing signals or data, at least one communication interface for reading data, in particular, for receiving image information, and a control unit for outputting data, in particular control signals to a unit, in particular an actuator. A classification unit can be assigned to each optical detection unit, or each optical detection unit can have its own classification unit. The classification unit is or the classification units are designed or configured for image processing so that it can perform calculation steps or image processing steps to carry out the method according to the invention. Consequently, each classification unit has corresponding image processing software. The computing unit may be, for example, a signal processor, a microcontroller or the like, where the storage unit may be a flash memory, an EPROM or a magnetic storage unit. The communication interface can be designed to read or send data wirelessly and/or wired, a communication interface that can read or send data wired, for example, can read this data electrically or optically from a data transmission line correspondent or send them to a corresponding data transmission line.

[0028] Consequentemente, o método de acordo com a invenção pode ser implementado, por exemplo, em software ou hardware ou em uma forma mista de software e hardware na unidade de classificação ou um dispositivo de controle.[0028] Consequently, the method according to the invention can be implemented, for example, in software or hardware or in a mixed form of software and hardware in the classification unit or a control device.

[0029] A unidade de classificação pode estar disposta total ou parcialmente no pulverizador agrícola ou nele integrada. No entanto, a unidade de classificação também pode ser total ou parcialmente externa, por exemplo, integrada em uma nuvem.[0029] The classification unit can be arranged totally or partially in the agricultural sprayer or integrated into it. However, the classification unit can also be fully or partially external, for example integrated in a cloud.

[0030] O método de acordo com a invenção permite uma classificação eficiente com uma alta qualidade de classificação, em particular, de partes de plantas que estão espacialmente distantes na informação de imagem, mas que pertencem à mesma planta. Consequentemente, as partes da planta em particular que ainda pertencem à planta cultivada, mas estão espacialmente separadas de sua planta devido a partes da planta finas e/ou fracamente reflexivas, como caules de plantas e talos de plantas, podem ser classificadas com muito mais precisão durante a segmentação usando os dados de imagem.[0030] The method according to the invention allows an efficient classification with a high classification quality, in particular, of plant parts that are spatially distant in the image information, but that belong to the same plant. Consequently, the particular plant parts that still belong to the cultivated plant, but are spatially separated from its plant due to thin and/or weakly reflective plant parts, such as plant stems and plant stalks, can be classified much more accurately. during segmentation using the image data.

[0031] Ao gerar as informações da imagem de referência com o se-gundo valor de limiar de segmentação ou o valor de limiar de NDVI inferior e a comparação subsequente com as informações da imagem de referência, essas partes da planta espacialmente distantes, que não foram identificadas como um objeto de planta nas informações de imagem de planta "mais nítidas", podem ser incorporados e como parte da mesma planta classificados como pertencentes ou classificados juntos na classe correta.[0031] By generating the reference image information with the second segmentation threshold value or the lower NDVI threshold value and the subsequent comparison with the reference image information, these spatially distant parts of the plant, which are not were identified as a plant object in the "sharper" plant image information, can be merged and as part of the same plant classified as belonging or classified together in the correct class.

[0032] Isso é relevante, por exemplo, em métodos de classificação ou algoritmos de classificação - como também é conhecido a partir de DE 10 2017 210 804 A1 - em que, por definição, todos os objetos ou partes de plantas identificados são classificados como "ervas daninhas" se não forem como um objeto coerente/planta coerente ser segmentado e exceder uma distância mínima definida para uma linha identificada de culturas e/ou não tocar uma linha definida de culturas.[0032] This is relevant, for example, in classification methods or classification algorithms - as it is also known from DE 10 2017 210 804 A1 - where, by definition, all identified objects or plant parts are classified as "weeds" if not as a coherent object/coherent plant be segmented and exceed a defined minimum distance to an identified row of crops and/or not touch a defined row of crops.

[0033] Por meio do método de acordo com a invenção, todas as partes da planta são "fundidas" para formar um objeto da planta, desde que haja material vegetal reflexivo suficiente entre essas partes da planta, que é identificado por meio do segundo valor de limiar de segmentação e armazenado em a informação da imagem da planta de referência. Assim que uma mancha de, por exemplo, solo se encontra entre as partes das plantas, esses objetos não são fundidos, mas permanecem separados. Isso também garante que as ervas daninhas que crescem nas proximidades da cultura não possam se fundir com a cultura e, assim, con-tinuem a existir separadamente como ervas daninhas.[0033] By means of the method according to the invention, all plant parts are "fused" to form a plant object, provided that there is sufficient reflective plant material between these plant parts, which is identified by means of the second value segmentation threshold and stored in the reference plant image information. As soon as a patch of, for example, soil is found between plant parts, these objects are not merged, but remain separate. This also ensures that weeds growing in the vicinity of the crop cannot merge with the crop and thus continue to exist separately as weeds.

[0034] A maior qualidade de classificação, por sua vez, leva a uma aplicação mais precisa de, por exemplo, pesticidas, uma vez que uma aplicação pode ser exigida com base em uma classificação correta das plantas. Além disso, devido aos tempos de execução curtos necessários para os necessários operadores de processamento de imagem e poder de computação, o método de acordo com a invenção permite uma velocidade de trabalho rápida e eficiente, em particular no tratamento de uma área agrícola, por exemplo, por meio de um pulverizador. É vantajoso se a etapa de identificação das partes da planta de referência compreende uma etapa de dilatação das partes da planta de referência identificadas, a fim de obter a informação da imagem da planta de referência. Aqui, o resultado da segmentação do segundo valor de limiar de segmentação é dilatado, ou seja, os objetos identificados ou partes da planta são expandidos por um valor parametrizável x por meio de um operador de processamento de imagem. Desta forma, as “lacunas” dentro e entre as partes identificadas da planta podem ser fechadas de uma maneira simples, por meio do qual a qualidade da classificação pode ser ainda mais ser aumentada.[0034] Higher classification quality, in turn, leads to more accurate application of, for example, pesticides, since an application may be required based on a correct classification of plants. Furthermore, due to the short execution times required for the necessary image processing operators and computing power, the method according to the invention allows a fast and efficient working speed, in particular in the treatment of an agricultural area, for example , by means of a sprayer. It is advantageous if the step of identifying the reference plant parts comprises a step of expanding the identified reference plant parts in order to obtain the image information of the reference plant. Here, the segmentation result of the second segmentation threshold value is dilated, that is, the identified objects or plant parts are expanded by a parameterizable value x through an image processing operator. In this way, the “gaps” within and between the identified parts of the plant can be closed in a simple way, whereby the quality of classification can be further increased.

[0035] Além disso, também é vantajoso se uma etapa de identificação de linhas de plantas cultivadas for fornecida na informação de imagem da planta usando plantas identificadas por meio da unidade de classificação, em que na etapa de classificação as partes da planta são ainda dependentes de informações de posição, em particular uma distância entre as partes da planta e a linha correspondente de plantas cultivadas.[0035] Furthermore, it is also advantageous if a step of identifying lines of cultivated plants is provided in the plant image information using plants identified by means of the classification unit, wherein in the classification step the plant parts are still dependent of position information, in particular a distance between the plant parts and the corresponding row of cultivated plants.

[0036] A etapa de identificação ou reconhecimento de fileiras de plantas cultivadas pode ser realizada de forma contínua ou permanente. A etapa de identificação de fileiras de plantas cultivadas é, de preferência, realizada usando e/ou avaliando todas ou substancialmente todas as informações de imagem obtidas.[0036] The stage of identification or recognition of rows of cultivated plants can be carried out continuously or permanently. The step of identifying rows of cultivated plants is preferably carried out using and/or evaluating all or substantially all of the image information obtained.

[0037] Vantajosamente, a linha de plantas cultivadas pode ser identificada usando pelo menos uma das seguintes informações: componente de cor, em particular componente de cor verde das plantas registradas, componente infravermelho das plantas registradas, espaçamento de planta, espaçamento de linha de planta, estágio de crescimento das plantas, coordenadas geográficas de uma semeadura das plantas, sentido de movimento da unidade de detecção óptica ou sentido de movimento do dispositivo de pulverização agrícola. Por meio dessas informações ou propriedades, as fileiras de lavouras podem ser identificadas de forma simples e confiável. Uma vez que as linhas de plantas cultivadas se estendem essencialmente em uma linha reta, uma linha de plantas cultivadas também pode ser identificada, por exemplo, ajustando uma linha reta ou uma linha reta de plantas cultivadas em uma trajetória de imagem com o maior componente de cor ou valor de cor correspondente. Na etapa de identificação, todas as fileiras de plantas cultivadas são preferencialmente identificadas nas informações da imagem.[0037] Advantageously, the row of cultivated plants can be identified using at least one of the following information: color component, in particular green color component of registered plants, infrared component of registered plants, plant spacing, plant row spacing , stage of plant growth, geographical coordinates of a seeding of plants, direction of movement of the optical detection unit or direction of movement of the agricultural spraying device. Through this information or properties, crop rows can be identified simply and reliably. Since rows of cultivated plants essentially extend in a straight line, a row of cultivated plants can also be identified, for example, by fitting a straight line or a straight line of cultivated plants to an image path with the largest component of corresponding color or color value. In the identification step, all rows of cultivated plants are preferably identified in the image information.

[0038] Uma etapa de aplicação de um meio, em particular, um agente de pulverização líquido está previsto, de preferência, nas partes da planta classificadas de uma classe de planta correspondente, em particular, nas partes da planta classificadas na área de avaliação de imagem em função do código da planta identificado por meio de uma unidade de bocal de pulverização, em particular, um dispositivo de pul-verização agrícola.[0038] A step of applying a medium, in particular a liquid spraying agent, is preferably foreseen on the classified plant parts of a corresponding plant class, in particular, on the plant parts classified in the evaluation area of image as a function of the plant code identified by means of a spray nozzle unit, in particular an agricultural spray device.

[0039] A aplicação do meio ou por pulverização realiza-se, de preferência, em área agrícola ou em área de aproveitamento agrícola. Isso pode ser entendido como um campo ou uma área de cultivo para plantas ou também uma parcela dessa área de cultivo. A área agrícola pode, portanto, ser terra arável, pastagem ou pasto. As plantas podem incluir, por exemplo, plantas úteis, cujo fruto é usado na agricultura (por exemplo, como alimento, ração ou como uma cultura energética) e ervas daninhas de várias espécies.[0039] The application of the medium or by spraying is carried out, preferably, in an agricultural area or in an area of agricultural use. This can be understood as a field or an area of cultivation for plants or also a portion of this area of cultivation. The agricultural area can therefore be arable land, pasture or pasture. Plants can include, for example, useful plants, the fruit of which is used in agriculture (eg as food, feed or as an energy crop) and weeds of various species.

[0040] De preferência, todas as etapas do método são realizadas durante um movimento, em particular uma viagem ou um voo, do dispositivo de pulverização agrícola sobre a área agrícola. Assim, no contexto do presente pedido, dependendo da configuração do dispositivo de pul-verização, o termo "direção de deslocamento" também pode ser entendido como uma "direção de voo".[0040] Preferably, all steps of the method are carried out during a movement, in particular a journey or a flight, of the agricultural spray device over the agricultural area. Thus, in the context of the present application, depending on the configuration of the spray device, the term "direction of travel" can also be understood as a "direction of flight".

[0041] De modo vantajoso, o pulverizador agrícola é concebido para realizar o método de forma automatizada e/ou autônoma, a fim de permitir que um campo seja tratado de forma rápida, confiável e eficiente.[0041] Advantageously, the agricultural sprayer is designed to perform the method in an automated and/or autonomous way, in order to allow a field to be treated quickly, reliably and efficiently.

[0042] O pulverizador agrícola pode, em particular, fazer parte de um pulverizador agrícola ou de um dispositivo de proteção de plantas, ou pode ser concebido como pulverizador agrícola ou de um dispositivo de proteção agrícola. O dispositivo de pulverização agrícola pode compreender uma unidade móvel ou estar disposto sobre uma unidade móvel, em que a unidade móvel pode, em particular, ser concebida como um veículo terrestre e/ou aeronave e/ou reboque. A unidade móvel pode, em particular, ser uma máquina agrícola, por exemplo, um trator, um trator, um pulverizador automotor ou autônomo ou um robô automo-tor ou autônomo. O dispositivo de pulverização agrícola pode, em particular, ser um pulverizador de campo arrastado, um pulverizador de campo automático ou um pulverizador de campo montado. O dispositivo de pulverização agrícola também pode ser conectado a um dispositivo hidráulico de uma máquina de trabalho agrícola. Também é concebível que o dispositivo de pulverização agrícola seja instalado na área de carregamento de uma máquina de trabalho agrícola. Alternativamente, o dispositivo de pulverização pode ser acoplado à máquina agrícola. O dispositivo de pulverização agrícola ou o pulverizador de campo pode ter, pelo menos, um tanque de meio de pulverização para receber o meio de pulverização. O dispositivo de pulverização agrícola ou o pulverizador de campo também pode ter uma unidade de mistura que mis-tura diretamente no dispositivo de pulverização agrícola um concentrado de pulverização com água para formar o pulverizador a ser aplicado.[0042] The agricultural sprayer may, in particular, form part of an agricultural sprayer or a plant protection device, or it may be designed as an agricultural sprayer or an agricultural protection device. The agricultural spraying device may comprise a mobile unit or be arranged on a mobile unit, wherein the mobile unit may in particular be conceived as a land vehicle and/or aircraft and/or trailer. The mobile unit can in particular be an agricultural machine, for example a tractor, a tractor, a self-propelled or autonomous sprayer or a self-propelled or autonomous robot. The agricultural spraying device may, in particular, be a trailed field sprayer, an automatic field sprayer or a mounted field sprayer. The agricultural spray device can also be connected to a hydraulic device of an agricultural work machine. It is also conceivable that the agricultural spray device is installed in the loading area of an agricultural work machine. Alternatively, the spraying device can be coupled to the agricultural machine. The agricultural spray device or the field sprayer may have at least one tank of spray medium to receive the spray medium. The agricultural spray device or field sprayer may also have a mixing unit which directly mixes in the agricultural spray device a spray concentrate with water to form the spray to be applied.

[0043] O meio ou o agente de pulverização é, em particular, um lí-quido para pulverizar. agente de pulverização pode compreender ou ser uma preparação agrícola ou um agente de proteção de plantas (PPP), em particular um concentrado de agente de proteção de plantas. O agente de pulverização pode, portanto, conter um pesticida, como, por exemplo, um herbicida, fungicida ou um inseticida. No entanto, o agente de pulverização também pode compreender ou ser um fertilizante, em particular, um fertilizante concentrado. O meio de vaporização pode ter um regulador de crescimento. O agente de pulverização pode ter um agente ativo granular que foi misturado com um líquido transportador. O líquido de pulverização pode, por exemplo, ser concebido como: líquido, suspensão, emulsão, solução ou uma combinação dos mesmos. O líquido de pulverização é preferencialmente concebido como um agente de proteção de plantas diluído em água ou um fertilizante diluído em água. O líquido para pulverização pode, por conse-guinte, ser, por exemplo, uma mistura para pulverização.[0043] The spraying medium or agent is, in particular, a liquid for spraying. spraying agent may comprise or be an agricultural preparation or a plant protection agent (PPP), in particular a plant protection agent concentrate. The spraying agent may therefore contain a pesticide, such as, for example, a herbicide, fungicide or an insecticide. However, the spraying agent may also comprise or be a fertilizer, in particular a concentrated fertilizer. The vaporization medium may have a growth regulator. The spraying agent may have a granular active agent that has been mixed with a carrier liquid. The spray liquid can, for example, be conceived as: liquid, suspension, emulsion, solution or a combination thereof. The spray liquid is preferably designed as a water-diluted plant protection agent or a water-diluted fertilizer. The spray liquid can therefore be, for example, a spray mixture.

[0044] A aplicação do meio ou do agente de pulverização pode, em particular, ser realizada por meio de uma unidade de distribuição. Neste caso, a unidade de distribuição pode ser projetada para distribuir ou transportar um líquido e/ou um granulado sob pressão, em particular, para efetuar o doseamento. Consequentemente, a unidade de entrega pode, por exemplo, compreender, cada uma, uma/ou mais bombas, bombas de entrega, bombas de doseamento, acumuladores de pressão, transportadores helicoidais, válvulas, orifícios, etc.[0044] The application of the spraying medium or agent can, in particular, be carried out by means of a dispensing unit. In this case, the dispensing unit can be designed to dispense or transport a liquid and/or a granulate under pressure, in particular, to effect dosing. Accordingly, the delivery unit may, for example, each comprise one/or more pumps, delivery pumps, metering pumps, pressure accumulators, screw conveyors, valves, orifices, etc.

[0045] A unidade de bocal de pulverização apresenta, de preferên- cia, pelo menos, um bocal de pulverização para distribuir o agente de pulverização e, pelo menos, uma válvula para controlar ou regular a quantidade de agente de pulverização aplicada. Consequentemente, a unidade de bocal de pulverização é projetada para ser controlável ou acionável. A válvula pode estar disposta ou integrada no bocal de pul-verização. No entanto, a válvula também pode estar conectada na direção de fluxo do bocal de pulverização, isto é, na direção de fluxo do bocal de pulverização (na direção do fluxo do meio de pulverização). A unidade de bocal de pulverização pode, no entanto, também ter vários bocais de pulverização, cada um com uma válvula na direção de fluxo. A unidade de bocal de pulverização também pode apresentar uma pluralidade de bocais de pulverização com apenas uma válvula conectada na direção de fluxo dos bocais de pulverização, de modo que quando a válvula é acionada, o agente de pulverização é descarregado por meio de todos os bocais de pulverização da unidade de bocal de pulverização. A válvula pode estar projetada como uma válvula modulada por largura de pulso (válvula PWM) ou como uma válvula proporcional. A unidade de bocal de pulverização pode estar projetada como uma largura parcial de um sistema de bocal do dispositivo de pulverização agrícola. As unidades de bocais de pulverização podem ser controláveis individualmente ou separadamente e/ou em grupos ou associações definidas e/ou todos juntos integrados. Os bocais de pulverização de cada unidade de bocal de pulverização podem ser controlados individualmente ou separadamente e/ou em grupos ou associações definidas e/ou todos juntos integrados.[0045] The spray nozzle unit preferably has at least one spray nozzle for dispensing the spraying agent and at least one valve for controlling or regulating the amount of spraying agent applied. Consequently, the spray nozzle unit is designed to be controllable or actionable. The valve can be arranged or integrated in the spray nozzle. However, the valve can also be connected in the flow direction of the spray nozzle, i.e. in the flow direction of the spray nozzle (in the flow direction of the spray medium). The spray nozzle unit may, however, also have several spray nozzles, each with a valve in the flow direction. The spray nozzle unit may also have a plurality of spray nozzles with only one valve connected in the flow direction of the spray nozzles, so that when the valve is actuated, the spray agent is discharged through all nozzles. nozzle from the spray nozzle unit. The valve can be designed as a pulse width modulated valve (PWM valve) or as a proportional valve. The spray nozzle unit may be designed as a partial width of an agricultural spray device nozzle system. The spray nozzle units can be controllable individually or separately and/or in defined groups or associations and/or all together integrated. The spray nozzles of each spray nozzle unit can be controlled individually or separately and/or in defined groups or associations and/or all together integrated.

[0046] A unidade de bocal de pulverização ou as unidades de bocal de pulverização estão, de preferência, dispostas em uma barra de pulverização do dispositivo de pulverização agrícola.[0046] The spray nozzle unit or the spray nozzle units are preferably arranged on a spray bar of the agricultural spray device.

[0047] De preferência, está prevista uma etapa de determinação de um código de planta para pelo menos uma área de avaliação de imagem definida na informação de imagem de planta usando partes de planta classificadas na respectiva área de avaliação de imagem definida por meio da unidade de classificação. O código da planta representa, de preferência, um grau de cobertura da área da avaliação de imagem por material de planta e/ou uma quantidade de material de planta na área de avaliação de imagem e/ou um número de partes de planta classificadas na área de avaliação de imagem. O grau de cobertura pode ser definido por meio da relação entre a área coberta por material vegetal e a área total a ser avaliada. O grau de cobertura da área de avaliação da imagem é, em conformidade, a proporção da área da área coberta de mato com a respectiva área total de avaliação da imagem. Para este propósito, o número de pixels na respectiva área de avaliação da imagem pode ser determinado em qual material vegetal é detectado. Con-sequentemente, uma medida para a infestação pode ser derivada por meio do índice de planta, em dependência do qual a decisão é efetuada sobre se e, em caso afirmativo, como (por exemplo, com qual taxa de aplicação) uma área de campo correspondente é pulverizada ou tratada.[0047] Preferably, a step of determining a plant code is provided for at least one image evaluation area defined in the plant image information using plant parts classified in the respective image evaluation area defined by means of the unit of classification. The plant code preferably represents a degree of coverage of the image assessment area by plant material and/or an amount of plant material in the image assessment area and/or a number of classified plant parts in the area of image evaluation. The degree of coverage can be defined through the relationship between the area covered by plant material and the total area to be evaluated. The coverage degree of the image assessment area is accordingly the ratio of the area of the overgrown area to the respective total image assessment area. For this purpose, the number of pixels in the respective image evaluation area can be determined in which plant material is detected. Consequently, a measure for infestation can be derived through the plant index, depending on which a decision is made on whether and, if so, how (e.g. at what application rate) a field area corresponding is sprayed or treated.

[0048] O valor limite pode ser inserido manualmente, previamente definido e transferido para o sistema, ou um valor predefinido e um valor fixo no sistema. Dependendo da cultura no campo, do estágio de crescimento e do agente de pulverização ou pesticida usado, uma chamada regra de pulverização pode ser armazenada, ou seja, uma conexão entre um determinado índice de planta e sua decisão em relação a, e se, qual a quantidade de pesticida deve ser aplicada. A título de exemplo, a regra poderia ser: “Se o grau de cobertura na área de avaliação for su-perior a 0,5%, então a área de campo é aplicada”.[0048] The threshold value can be entered manually, previously defined and transferred to the system, or a predefined value and a fixed value in the system. Depending on the crop in the field, the stage of growth and the spraying agent or pesticide used, a so-called spray rule may be stored, i.e. a connection between a given plant index and its decision regarding, and if, which the amount of pesticide should be applied. As an example, the rule could be: “If the degree of coverage in the assessment area is greater than 0.5%, then the field area is applied”.

[0049] Deve-se notar que outras áreas separadas de avaliação de imagem podem ser fornecidas na informação de imagem sem se afastar do escopo da presente invenção. O número de áreas de avaliação de imagem por informação de imagem depende do espaçamento do bocal de pulverização e da largura das informações da imagem. Cada área de avaliação de imagem pode ser atribuÍda a uma unidade de bocal de pulverização com um ou mais bocais de pulverização. Por exemplo, com uma largura de informação de imagem de 1,5 metros, um espaçamento de bocal de pulverização de 25 cm, seriam fornecidas 6 áreas de avaliação de imagem por câmera.[0049] It should be noted that other separate areas of image evaluation can be provided in the image information without departing from the scope of the present invention. The number of image evaluation areas per image information depends on the spacing of the spray nozzle and the width of the image information. Each image evaluation area can be assigned a spray nozzle unit with one or more spray nozzles. For example, with an image information width of 1.5 meters, a spray nozzle spacing of 25 cm, 6 image evaluation areas per camera would be provided.

[0050] Assim, as áreas de avaliação da imagem são as áreas da informação da imagem nas quais os indices da planta são determinados e avaliados para aplicar o meio ou agente de vaporização em função do mesmo. Uma área de avaliação de imagem representa uma área de campo correspondente das seções de campo registradas, de modo que o agente de pulverização seja preferencialmente aplicado à área de campo correspondente na etapa de aplicação.[0050] Thus, the image evaluation areas are the areas of the image information in which the plant indices are determined and evaluated to apply the medium or vaporizing agent depending on it. An image evaluation area represents a corresponding field area of the recorded field sections, so that the spray agent is preferably applied to the corresponding field area in the application step.

[0051] Na etapa de aplicação, no caso de uma "decisão de pulverização" positiva, o agente de pulverização é preferencialmente aplicado dependendo dos indices da planta identificados, em particular quando atingir e/ou cair abaixo e/ou exceder um valor limite definido para o número chave da planta por meio da unidade de bocal de pulverização do dispositivo de pulverização agrÍcola. O agente de pulverização é, de preferência, aplicado com uma quantidade minima definida por área. Neste caso, o agente de pulverização é, de preferência, aplicado em toda a área do campo.[0051] In the application step, in the case of a positive "spray decision", the spray agent is preferably applied depending on the identified plant indices, in particular when it reaches and/or falls below and/or exceeds a defined threshold value. to the plant key number via the spray nozzle unit of the agricultural spraying device. The spraying agent is preferably applied in a defined minimum amount per area. In this case, the spraying agent is preferably applied to the entire area of the field.

Designs

[0052] A invenção é explicada em mais detalhes abaixo com referência aos desenhos anexos. Que apresentam:[0052] The invention is explained in more detail below with reference to the accompanying drawings. Which feature:

[0053] Figura1: Apresenta uma representação esquemática de um dispositivo de pulverização agrícola de acordo com a invenção;[0053] Figure 1: Shows a schematic representation of an agricultural spraying device according to the invention;

[0054] Figura 2: Apresenta uma imagem colorida com uma planta de soja;[0054] Figure 2: Shows a color image with a soybean plant;

[0055] Figura 3: Apresenta uma imagem de planta NDVI da imagem colorida da figura 1.[0055] Figure 3: Shows an NDVI plant image of the color image of figure 1.

[0056] Figura 4: Apresenta informações de imagem de planta com partes de planta identificadas por meio do primeiro valor de limiar de segmentação da imagem de planta NDVI da figura 3.[0056] Figure 4: Presents plant image information with plant parts identified through the first segmentation threshold value of the NDVI plant image of figure 3.

[0057] Figura 5: Apresenta a informação da imagem da planta da figura 4 com partes da planta classificadas de acordo com a técnica anterior;[0057] Figure 5: Presents the information of the plant image of figure 4 with plant parts classified according to the prior art;

[0058] Figura 6: Apresenta informações de imagem de planta de referência de acordo com a invenção com partes de plantas identificadas por meio do segundo valor de limiar de segmentação da imagem de planta NDVI da figura 3.[0058] Figure 6: Presents reference plant image information according to the invention with plant parts identified by means of the second segmentation threshold value of the NDVI plant image of figure 3.

[0059] Figura 7: Apresenta um resultado de comparação da sobreposição da informação da imagem da planta da figura 4 com a informação da imagem da planta de referência da figura 6.[0059] Figure 7: It presents a result of comparing the overlapping of the information of the plant image of figure 4 with the information of the image of the reference plant of figure 6.

[0060] Figura 8: Apresenta a informação da imagem da planta da figura 4 com partes da planta classificadas de acordo com a presente invenção.[0060] Figure 8: Shows the information of the plant image of figure 4 with plant parts classified according to the present invention.

[0061] Figura 9: Um fluxograma de um método de acordo com uma configuração exemplar.[0061] Figure 9: A flowchart of a method according to an exemplary configuration.

[0062] Na seguinte descrição de exemplos de configuração preferidos da presente invenção, os mesmos números de referência ou semelhantes são usados para os elementos mostrados nas várias figuras e tendo um efeito semelhante, sendo dispensada uma descrição repetida dos elementos.[0062] In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and having a similar effect, a repeated description of the elements being dispensed with.

[0063] A figura 1 apresenta uma representação esquemática de um dispositivo de pulverização agrícola, que está provido na sua totalidade com a referência do número 10.[0063] Figure 1 shows a schematic representation of an agricultural spraying device, which is provided in its entirety with the reference number 10.

[0064] O dispositivo de pulverização agrícola 10 foi concebido como pulverizador de campo 10. O pulverizador de campo 10 está disposto em um veículo terrestre móvel 12, que é projetado como uma máquina de tração 12 ou trator 12.[0064] Agricultural spray device 10 is designed as field sprayer 10. Field sprayer 10 is arranged on a mobile land vehicle 12, which is designed as traction machine 12 or tractor 12.

[0065] O dispositivo de pulverização agrícola 10 apresenta uma barra de pulverização 14. As unidades de bocal de pulverização 16 e as unidades de detecção óptica 18 estão dispostas na barra de pulverização 14. As unidades de bocal de pulverização 16 são projetadas para aplicar uma pulverização 20 nas plantas 22 ou ervas daninhas 23 de uma área agrícola 24. As unidades de detecção óptica 18 são projetadas como câmeras ópticas 18. Cada uma das câmeras ópticas 18 inclui uma unidade de filtro a fim de extrair um componente de cor, como o componente de cor verde de uma informação de imagem recebida ou capturada ou uma imagem capturada, a fim de capturar plantas cultiva-das 22 e ervas daninhas 23.[0065] The agricultural spray device 10 features a spray bar 14. The spray nozzle units 16 and optical detection units 18 are arranged on the spray bar 14. The spray nozzle units 16 are designed to apply a spray 20 on plants 22 or weeds 23 of an agricultural area 24. Optical detection units 18 are designed as optical cameras 18. Each of the optical cameras 18 includes a filter unit in order to extract a color component such as green component of a received or captured image information or a captured image in order to capture crop plants 22 and weeds 23.

[0066] Além disso, o pulverizador agrícola 10 também possui uma unidade de distribuição (não representada), por meio da qual a quanti-dade de aplicação ou a quantidade de agente ativo no agente de pulverização 20 a ser aplicado pode ser ajustada ou variada.[0066] In addition, the agricultural sprayer 10 also has a dispensing unit (not shown), whereby the amount of application or the amount of active agent in the spraying agent 20 to be applied can be adjusted or varied. .

[0067] O pulverizador agrícola 10 também apresenta unidades de classificação (não representadas) que estão conectadas às câmeras ópticas 18 para deles receber informações. Neste caso, cada câmera óptica 18 está atribuída a sua própria unidade de classificação. As unidades de classificação apresentam uma unidade de computação que é projetada para realizar etapas de cálculo ou etapas de processamento de imagem para efetuar o método de acordo com a invenção. Além disso, as unidades de classificação também são projetadas para emitir um sinal de controle de tal forma que o agente de pulverização 20 seja aplicado por meio das unidades de bocal de pulverização associadas 16 em função do número de identificação da planta identificado.[0067] Agricultural sprayer 10 also features classification units (not shown) that are connected to optical cameras 18 to receive information from them. In this case, each optical camera 18 is assigned its own classification unit. The classification units have a computing unit which is designed to perform calculation steps or image processing steps to carry out the method according to the invention. Furthermore, the classification units are also designed to emit a control signal such that the spray agent 20 is applied via the associated spray nozzle units 16 depending on the identified plant identification number.

[0068] A figura 2 apresenta a informação da imagem 26 com uma planta de soja 22. Neste caso, a informação da imagem 26 é uma imagem 26 com informação espectral adequada para segmentação da planta. Um solo 28 da área agrícola 24 pode ser visto em segundo plano.[0068] Figure 2 presents the information of the image 26 with a soybean plant 22. In this case, the information of the image 26 is an image 26 with spectral information suitable for segmentation of the plant. A soil 28 of the agricultural area 24 can be seen in the background.

[0069] Na figura 3, estão apresentadas outras informações de imagem 30. Neste caso, a informação de imagem 30 é uma imagem de planta NDVI 30 da imagem 26 da figura 1.[0069] In figure 3, other image information 30 is shown. In this case, the image information 30 is an NDVI plant image 30 of image 26 of figure 1.

[0070] Na figura 4, está representada a informação da imagem da planta 32. A informação de imagem de planta 32 ilustra partes de planta 34 identificadas a partir da imagem de planta NDVI 30 da figura 3 por meio do primeiro valor de limiar de segmentação ou primeiro valor de limiar de NDVI.[0070] In figure 4, the information of the plant image 32 is represented. The information of the plant image 32 illustrates plant parts 34 identified from the NDVI plant image 30 of figure 3 by means of the first segmentation threshold value or first NDVI threshold value.

[0071] A figura 5 apresenta a informação de imagem de planta 32 da figura 4 com partes de planta classificadas 34 de acordo com a técnica anterior mencionada na introdução. Neste caso, as partes das plantas 34 foram, em alguns casos, classificadas na mesma classe de plantas, nomeadamente como “plantas cultivadas” 22, devido à sua disposição ou proximidade com uma fileira de plantas cultivadas (não representada). Em contrapartida, as restantes partes da planta 34 foram classificadas numa classe de planta diferente, nomeadamente como “ervas daninhas” 23, devido à falta de relação ou ligação com as outras partes da planta 34 e à distância da fileira de plantas cultivadas.[0071] Figure 5 presents the plan image information 32 of Figure 4 with classified plant parts 34 according to the prior art mentioned in the introduction. In this case, the plant parts 34 were, in some cases, classified in the same class of plants, namely as “cultivated plants” 22, due to their arrangement or proximity to a row of cultivated plants (not shown). In contrast, the remaining parts of the plant 34 were classified in a different plant class, namely as “weeds” 23, due to the lack of relationship or connection with the other parts of the plant 34 and the distance from the row of cultivated plants.

[0072] A informação da imagem da planta de referência 36 de acordo com a invenção é agora apresentada na figura 6. A informação da imagem da planta de referência 36 ilustra as partes da planta 38 identificadas a partir da imagem da planta NDVI 30 da figura 3 por meio do segundo valor de limiar de segmentação ou segundo valor de limiar de NDVI. Neste caso, o segundo valor de limiar de NDVI é inferior ao primeiro valor de limiar de NDVI da informação da planta 32 na figura 4.[0072] The image information of the reference plant 36 according to the invention is now shown in Figure 6. The image information of the reference plant 36 illustrates the parts of the plant 38 identified from the NDVI plant image 30 of the figure 3 via the second segmentation threshold value or second NDVI threshold value. In this case, the second NDVI threshold value is lower than the first NDVI threshold value of the plant information 32 in Fig. 4.

[0073] Conforme pode ser visualizado na figura 6, a escolha do segundo valor de limiar de NDVI inferior em comparação com a informação de imagem da planta 32 das partes da planta da figura 38 foi identificada. Isto fica particularmente claro na figura 7, em que um resultado da comparação da sobreposição da informação da imagem da planta 32 da figura 4 com a informação da imagem da planta de referência 6 da figura 6 é apresentado. Por razões de ilustração, as partes 34 identificadas da planta são mostradas tracejadas.[0073] As can be seen in figure 6, the choice of the second lower NDVI threshold value compared to the plant image information 32 of the plant parts of figure 38 was identified. This is particularly clear in figure 7, in which a result of comparing the superposition of the information of the plant image 32 of figure 4 with the information of the image of the reference plant 6 of figure 6 is presented. For purposes of illustration, the identified parts 34 of the plant are shown dashed.

[0074] Analogamente ao resultado da classificação de acordo com a técnica anterior da figura 5, a figura 8 agora mostra a informação de imagem de planta 32 da figura 4 com partes de planta classificadas 34 de acordo com a presente invenção. A partir disso, pode-se observar que as partes da planta 34 classificadas na classe de planta “ervas daninhas” 23 de acordo com a figura 5 foram classificadas como “planta cultivada” 22.[0074] Analogously to the prior art classification result of figure 5, figure 8 now shows the plan image information 32 of figure 4 with classified plant parts 34 according to the present invention. From this, it can be seen that the parts of the plant 34 classified in the plant class “weeds” 23 according to figure 5 were classified as “cultivated plant” 22.

[0075] A figura 9 apresenta um fluxograma de um método 100 para classificar as partes da planta 34, 38 nas informações de imagem 26, 30, em particular para fins agrícolas. O método 100 compreende uma etapa de identificação de 104 partes da planta 34 nas informações de imagem 26, 30 usando um primeiro valor limite de segmentação por meio de uma unidade de classificação a fim de obter informações de imagem da planta 32. Além disso, o método 100 compreende ainda uma etapa de identificação de 108 de partes de planta de referência 38 nas informações de imagem 26, 30 usando um segundo valor de limiar de segmentação por meio da unidade de classificação a fim de obter informações de imagem de planta de referência 36, em que o segundo valor de limiar de segmentação é diferente do primeiro valor de limiar de segmentação e é ainda selecionado de modo que as partes da planta de referência identificadas 38 da informação da imagem da planta de referência 36 incluam as partes da planta identificadas 34 da informação da imagem da planta 32. O método 100 também inclui uma etapa de comparação 112 das partes identificadas da planta 34 com as partes identificadas da planta de referência 38 por meio da unidade de classificação. O método compreende ainda uma etapa de classificação de 114 partes identificadas da planta 34 da informação de imagem da planta 32 na mesma classe da planta, se estas estiverem dispostas em uma parte da planta de referência identificada coerente 38, por meio da unidade de classificação.[0075] Figure 9 presents a flowchart of a method 100 for classifying plant parts 34, 38 in image information 26, 30, in particular for agricultural purposes. The method 100 comprises a step of identifying 104 parts of the plant 34 in the image information 26, 30 using a first segmentation threshold value by means of a classification unit in order to obtain image information of the plant 32. method 100 further comprises a step of identifying 108 of reference plant parts 38 in the image information 26, 30 using a second segmentation threshold value via the classification unit in order to obtain reference plant image information 36 , wherein the second segmentation threshold value is different from the first segmentation threshold value and is further selected so that the identified reference plant parts 38 of the reference plant image information 36 include the identified plant parts 34 of the image information of the plant 32. The method 100 also includes a step of comparing 112 the identified parts of the plant 34 with the identified parts of the plant reference 38 via the classification unit. The method further comprises a step of classifying 114 identified parts of the plant 34 of the image information of the plant 32 in the same class as the plant, if these are arranged in a coherent identified reference plant part 38, by means of the classification unit.

[0076] O método 100 compreende ainda uma etapa opcional de gravação 102 de uma seção de campo com plantas 22, 23 por meio de uma unidade de gravação óptica 18, em particular, um dispositivo de pulve-rização agrícola 10, a fim de obter as informações de imagem 26, 30. Além disso, o método 100 também inclui uma etapa opcional de identificação de 106 linhas de plantas cultivadas na informação de imagem de planta 32 usando partes de planta identificadas 34 por meio da unidade de classificação, no qual na etapa de classificação 114 as partes de planta 34 são ainda dependentes de informações de posição, em particu lar, uma distância entre as partes da planta 34 deve ser classificada de acordo com a linha de plantas cultivadas. O método 100 compreende ainda uma etapa opcional de identificação de 108 partes da planta de referência 38, uma etapa de dilatação 110 das partes da planta de referência identificadas 38, a fim de obter as informações de imagem da planta de referência 36. O método 100 inclui finalmente uma etapa opcional de determinar 116 um número de identificação de planta para pelo menos uma área de avaliação de imagem definida na informação de imagem de planta 32 usando partes de planta classificadas 34 na respectiva área de avaliação de imagem definida por meio da uni-dade de classificação.[0076] The method 100 further comprises an optional step of recording 102 of a field section with plants 22, 23 by means of an optical recording unit 18, in particular an agricultural spraying device 10, in order to obtain the image information 26, 30. In addition, the method 100 also includes an optional step of identifying 106 rows of cultivated plants in the plant image information 32 using identified plant parts 34 by means of the classification unit, in which in classification step 114 the plant parts 34 are still dependent on position information, in particular, a distance between the plant parts 34 must be classified according to the row of cultivated plants. Method 100 further comprises an optional step of identifying 108 parts of the reference plant 38, a step of dilating 110 of the identified parts of the reference plant 38 in order to obtain the image information of the reference plant 36. Method 100 finally includes an optional step of determining 116 a plant identification number for at least one image evaluation area defined in the plant image information 32 using classified plant parts 34 in the respective image evaluation area defined by means of the unit. classification.

[0077] Caso uma configuração exemplar compreende um link "e/ou" entre um primeiro recurso e um segundo recurso, isso deve ser lido de tal forma que a configuração exemplar de acordo com uma forma de configuração tenha tanto o primeiro recurso quanto o segundo recurso e, de acordo com para uma outra configuração, ou apenas o tem o primeiro recurso ou apenas o segundo recurso.[0077] If an exemplary configuration comprises an "and/or" link between a first resource and a second resource, this should be read in such a way that the exemplary configuration according to a configuration form has both the first and second resource feature and, according to another configuration, either only has the first feature or only the second feature.

Claims

Method (100) for classifying plant parts (34, 38) in image information (26, 30), in particular for agricultural purposes, characterized in that it has the following steps:

- Identifying (104) parts of the plant (34) in the image information (26, 30) using a first segmentation threshold value by means of a classification unit in order to obtain information from the plant image (32);
- Identifying (108) parts of the reference plant (38) in the image information (26, 30) using a second segmentation threshold value through the classification unit, in order to obtain reference plant image information (36 ), wherein the second segmentation threshold value is different from the first segmentation threshold value and is further selected in such a way that the identified reference plant parts (38) of the reference plant image information (36) comprise the parts from the identified plant (34) to the plant image information (32);
- Compare (112) the identified plant parts (34) with the identified reference plant parts (38) through the classification unit and
- Classify (114) identified parts of the plant (34) of the plant image information (32) in the same plant class, if these are arranged in a coherent identified reference plant part (38), via the classification unit .

Method (100) according to claim 1, characterized in that the second segmentation threshold value is selected so that whole plant stems (38) and/or whole plant stalks (38) and/or leaves entire plant parts (38) are identified.

Method (100), according to claim 1 or 2, characterized in that the second segmentation threshold value is lower than the first segmentation threshold value.

Method (100) according to any one of the preceding claims, characterized in that

- the image information (26, 30) presents spectral information suitable for plant segmentation, in particular a multispectral image (30) with red and near infrared color information for NDVI calculation, furthermore in particular an NDVI plant image ( 30); and/or
- the first segmentation threshold value is a first gray value threshold value for an image (26, 30) with spectral information suitable for plant segmentation, in particular for a multispectral image (30) with red and near infrared for NDVI calculation, still in particular a first NDVI threshold value and the second segmentation threshold value is a second gray value threshold value for an image (26, 30) with spectral information suitable for segmentation of plan, in particular for a multispectral image (30) of red color and near-infrared color information for NDVI calculation, furthermore, in particular a second NDVI threshold value.

Method (100), according to any one of the preceding claims, characterized in that the first segmentation threshold value and/or the second segmentation threshold value is/are selected as a function of a species and/or culture of the plants (22, 23).

Method (100), according to any one of the preceding claims, characterized in that the step of identifying (108) the parts of the reference plant (38) comprises a step of dilating (110) the parts of the identified reference plant (38) in order to obtain the reference plant image information (36).

Method (100), according to any one of the preceding claims, characterized in that in the classification step (114) the identified parts of the plant (34) are assigned to the same plant (22, 23) if these are arranged in a coherent part of the identified reference plant (38).

Method (100), according to any one of the preceding claims, characterized in that in the classification step (114) parts of the plant (34) were identified in a first plant class of useful plants and/or cultivated plants (22 ) can be classified into a second class of weed plant (23).

Method (100), according to any one of the preceding claims, characterized in that it has a step of identifying (106) rows of cultivated plants in the plant image information (32) using plant parts identified (34) by means of the classification unit, in which in the classification step (114) the plant parts (34) can also be classified as a function of position information, in particular the distance between the plant parts (34) and the line correspondent of cultivated plants.

Method (100) according to any one of the preceding claims, characterized in that it has a detection step (102) of a field section with plants (22, 23) by means of an optical detection unit (18) , in particular a spraying device of an agricultural unit (10), in order to display the image information (26, 30).

Method (100) according to claim 10, characterized in that the first segmentation limit value and/or the second segmentation limit value are selected as a function of the optical detection unit (18).

Method (100) according to any one of the preceding claims, characterized in that it has a step of determining (116) a plant code for at least one image evaluation area defined in the plant image information (32). ) using classified plant parts (34) in the respective image evaluation area defined through the classification unit.

Method (100), according to claim 12, characterized in that the plant code represents a degree of coverage of the image assessment area of the plant material and/or an amount of plant material in the plant material assessment area. image and/or a number of classified plant parts (34) in the image evaluation area.

Method (100) according to any one of the preceding claims, characterized in that it has a step of applying (118) a medium (20), in particular a liquid vaporizing agent (20) on the classified parts of the plant ( 34) of a corresponding plant, in particular the classified plant parts (34) in the image evaluation area as a function of the plant code identified by means of a spraying unit (16), in particular a spraying device agricultural (10).

Classification unit, characterized by the fact that it is configured to carry out the following steps:

- Receive image information (26, 30) with plants (22, 23);
- Identifying (104) plant parts (34) in the image information (26, 30) using a first segmentation threshold value in order to obtain a plant image information (32);
- Identifying (108) parts of the reference plant (38) in the image information (26, 30) using a second segmentation threshold value in order to obtain reference plant image information (36), in which the second value segmentation threshold is different from the first threshold value of the first segmentation and is further selected so that the identified reference plant parts (38) of the reference plant image information (36) comprise the identified plant parts (34) the plant image information (32); Compare (112) the identified plant parts (34) with the identified reference plant parts (38); and
- Classify (114) identified plant parts (34) from the plant image information (32) in the same plant class if these are arranged in a contiguous part of the identified reference plant (38).

Agricultural spray device (10), characterized in that it is for applying a medium (20), in particular liquid spraying agent (20), on plant parts (34) of an agricultural area (24) with at least a spray nozzle unit (16) for applying the medium (20), at least one optical detection unit (18) for detecting plant parts (34) and a classification unit for classifying plant parts (34) as defined in claim 15.

Computer program, characterized in that it is configured to carry out the steps of a method as defined in any one of claims 1 to 14 and/or a classification unit as defined in claim 15, when the computer program is executed in a computer.

Machine-readable storage medium, characterized in that it has the computer program as defined in claim 17 stored therein.