EP4661663A1 - Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen - Google Patents

Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen

Info

Publication number
EP4661663A1
EP4661663A1 EP24702571.1A EP24702571A EP4661663A1 EP 4661663 A1 EP4661663 A1 EP 4661663A1 EP 24702571 A EP24702571 A EP 24702571A EP 4661663 A1 EP4661663 A1 EP 4661663A1
Authority
EP
European Patent Office
Prior art keywords
machine learning
learning model
insect trap
functional impairment
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24702571.1A
Other languages
English (en)
French (fr)
Inventor
Matthias Tempel
Fabian Christian BORN
Martijn Diederik POLMAN
Sven Meyer Zu Eissen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Bayer AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer AG filed Critical Bayer AG
Publication of EP4661663A1 publication Critical patent/EP4661663A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/10—Catching insects by using Traps
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/02—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/02—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/026—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects combined with devices for monitoring insect presence, e.g. termites
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/02—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/04—Attracting insects by using illumination or colours
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/14—Catching by adhesive surfaces
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00—Stationary means for catching or killing insects
    • A01M1/20—Poisoning, narcotising, or burning insects
    • A01M1/2022—Poisoning or narcotising insects by vaporising an insecticide
    • A01M1/2027—Poisoning or narcotising insects by vaporising an insecticide without heating
    • A01M1/2044—Holders or dispensers for liquid insecticide, e.g. using wicks

Definitions

  • the systems, methods and computer programs disclosed herein relate to the automated detection of functional impairments in camera-monitored insect traps using machine learning methods.
  • WO2018054767A1 discloses an insect trap that is visited by a user to check whether insects have entered the insect trap. Using a smartphone, the user creates an image of the insects in the trap. Using a computer program, the insects depicted in the image are automatically detected, counted and/or identified.
  • W02020058175A1 and W02020058170A1 disclose an insect trap equipped with a camera.
  • the camera automatically takes images of a collection area of the insect trap in which insects accumulate.
  • the images are transmitted via a transmitter unit to a separate computer system where they are examined by a user or analyzed using image recognition algorithms to determine the number of insects in the collection area and/or to identify the insects.
  • the insect traps disclosed in W02020058175A1 and W02020058170A1 have the advantage over the insect trap disclosed in WO2018054767A1 that the user does not have to visit the insect traps to check whether insects have entered the insect traps.
  • a camera-monitored insect trap may deteriorate over time.
  • a liquid used in the insect trap to immobilize insects evaporates over time. It is possible that the liquid level in the insect trap drops to a level where insects are no longer immobilized.
  • Another possible functional impairment may be contamination of the collection area and/or optical elements of the camera (e.g. a lens). Other possible functional impairments are listed further down in the description.
  • a functional impairment leads to the function intended to be performed by the insect trap no longer being performed or no longer being performed sufficiently.
  • the present disclosure describes means by which a functional impairment of a camera-monitored insect trap can be detected at an early stage.
  • a first subject of the present disclosure is a computer-implemented method for detecting a functional impairment in a camera-monitored insect trap.
  • the detection method comprises:
  • a further subject of the present disclosure is a computer system comprising: an input unit, a control and computing unit and an output unit, wherein the control and computing unit is configured to cause the input unit to receive an image recording, wherein the image recording shows at least part of a collection area of an insect trap, to feed the received image recording to a machine learning model, wherein the machine learning model is configured and has been trained on the basis of training data to distinguish image recordings of insect traps with a functional impairment from image recordings of insect traps without a functional impairment, to receive information from the machine learning model, wherein the information indicates whether the received image recording shows an insect trap with a functional impairment, to cause the output unit to output a message, wherein the message indicates that the insect trap shown at least partially in the received image recording has a functional impairment if the information output by the machine learning model indicates that the received image recording shows an insect trap with a functional impairment shows.
  • Another subject of the present disclosure is a non-transitory computer-readable storage medium having stored thereon software instructions that, when executed by a processor of a computer system, cause the computer system to perform the following steps:
  • Another subject of the present disclosure is a system comprising:
  • control unit is configured to cause the camera to generate one or more images of a collection area of the insect trap
  • analysis unit is configured to feed the one or more generated images to a machine learning model, wherein the machine learning model is configured and has been trained on the basis of training data to distinguish images of insect traps with a functional impairment from images of insect traps without a functional impairment
  • the analysis unit is configured to receive information from the machine learning model, wherein the information indicates whether the one or more images show an insect trap with a functional impairment
  • the transmission unit is configured to transmit the information and/or the one or more images to a separate computer system
  • output unit is configured to output the information.
  • kits comprising an insect trap and a computer program product, wherein the insect trap comprises a camera or means for receiving a camera, wherein the computer program product comprises program instructions, wherein the program instructions can be loaded into a working memory of a computer system and cause the computer system to carry out the following steps:
  • Fig. 1 shows schematically and as an example the training of a machine learning model.
  • Fig. 2 schematically shows the use of a trained machine learning model to detect a functional impairment in an insect trap.
  • Fig. 3 schematically shows another example of training a machine learning model.
  • Fig. 4 schematically shows another example of using a trained machine learning model to detect a functional impairment in an insect trap.
  • Fig. 5 shows an example and schematically a computer-implemented method for training a machine learning model in the form of a flow chart.
  • Fig. 6 shows an example and schematically a computer-implemented method for detecting a functional impairment in a camera-monitored insect trap in the form of a flow chart.
  • Fig. 7 shows an exemplary and schematic illustration of an embodiment of a computer system of the present disclosure.
  • Fig. 8 shows an exemplary and schematic illustration of another embodiment of a computer system of the present disclosure.
  • the present disclosure describes means for detecting a malfunction in a camera-monitored insect trap early and automatically.
  • An insect trap is a device that is visited by insects randomly or deliberately and that allows a user to detect whether insects are present in an area.
  • the area can be, for example, a field or a greenhouse for growing crops, a building (e.g. a storage room for storing food and/or animal feed, a hospital, a nursing home, a school and/or the like), a room in a building (e.g. a living room, a bedroom, a canteen, a sick bay and/or the like) or another area.
  • insect includes all stages from the larva (caterpillar, dew larva) to the adult stage.
  • insect trap should not be understood to mean that only insects can get into the insect trap.
  • insect trap was chosen because such traps are mainly used to check whether insects are present in an area.
  • the insect trap can also be used to detect the presence of other arthropods (lat. Arthropoda), e.g. the presence of spiders. It is also conceivable that the insect trap is used to detect the presence of a defined species in an area and is accordingly prepared to attract and/or immobilize and/or detect this defined species.
  • Examples of such defined species are: codling moth, aphid, thrips wing, fruit pod moth, Colorado potato beetle, cherry fruit fly, cockchafer, European corn borer, plum moth, rhododendron cicada, seed moth, scale insect, gypsy moth, spider mite, grape moth, walnut fruit fly, whitefly, large rapeseed stem weevil, spotted cabbage stem weevil, rapeseed beetle, cabbage pod weevil, cabbage pod midge or rapeseed flea, or a forest pest such as aphid, blue pine jewel beetle, bark beetle, oak jewel beetle, oak processiffy moth, oak tormentor, spruce web sawfly, common woodworm, large brown barkeater, pine bushhorn sawfly, pine owl, pine moth, small spruce sawfly, nun moth, Horse chestnut leaf miner, gypsy moth,
  • the insect trap may comprise means for immobilising insects.
  • the insect trap may, for example, comprise a bowl filled with a liquid (e.g. water or an aqueous solution). It is conceivable that the liquid comprises a surfactant to reduce surface tension and/or comprises an agent against algae formation and/or comprises an attractant to attract insects. Insects that enter the liquid may, for example, drown in the liquid or be held by the liquid.
  • the insect trap may also comprise a surface provided with glue or another adhesive to which insects stick.
  • an insect trap does not have to comprise means for immobilising insects; it may be sufficient for the intended use of the insect trap that insects enter the collection area and remain there for a period of time.
  • the insect trap may include means for attracting insects. Some insects (e.g. rapeseed pests such as the large rapeseed stem weevil) are attracted by a yellow colour, for example. Some insects (e.g. male food moths) can be attracted by a pheromone. It is also possible to use food to attract the insects. Some insects are attracted by electromagnetic radiation of a defined wavelength range.
  • the insect trap may be equipped with a source of electromagnetic radiation that emits electromagnetic radiation of a defined wavelength range (or several wavelength ranges). However, the insect trap does not have to have any attractants; it may be sufficient for the intended use of the insect trap that insects accidentally stray into the trap or come into contact with it.
  • the insect trap comprises a collection area.
  • the collection area is an area that can be visited by insects (or other arthropods). This can be a flat surface of a board or card or the like. It can also be the bottom of a container. It is possible that the insect trap comprises several collection areas. It is also conceivable that the insect trap has different collection areas, for example a Collection area for (specific) pests and another collection area for (specific) beneficial organisms.
  • the collection area preferably comprises a flat, smooth or structured surface with a round, oval, elliptical, angular (triangular, square, pentagonal, hexagonal or generally n-sided, with n as a whole number that is greater than or equal to three) cross-section.
  • the cross-section is preferably round or rectangular (in particular square).
  • Walls can extend upwards from the surface to form a container.
  • the container can be cylindrical, conical or box-shaped, for example. It preferably has a round or angular cross-section and the walls extend conically upwards from the base, with the base surface and wall surface preferably running at an angle of more than 90° and less than 120° to one another. In the case of an angular cross-section, the corners can be rounded.
  • the bottom of the container may have markings and/or a structure that allows automated focusing of the camera and/or that provides a reference, for example to determine the size of an insect.
  • the bottom of the container can have depressions, as described for example in WO2022243150A1, in order to achieve an isolation of insects in the collection area. Isolating facilitates the automated detection, counting and/or identification of insects in the collection area.
  • the collection area can be part of a pest trapping device, such as a yellow trap tray or an optionally glued color board.
  • the insect trap is a trap as described in W02020058175A1, WQ2020058170A1, WO2021213824A1 or WO2022243150A1.
  • the insect trap is a camera-monitored insect trap. This means that a camera is positioned and aligned in such a way that it can produce images of a collection area of the insect trap.
  • a camera is a device that can create images in digital form and store them and/or make them available via an interface.
  • a camera usually comprises an image sensor and optical elements.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide-semiconductor
  • the optical elements serve to create the sharpest possible image of the object from which a digital image is to be created on the image sensor.
  • the camera can, for example, be part of a smartphone or tablet computer.
  • the camera is used to generate digital images of the collection area or part thereof.
  • the generated images can be used (i) to detect whether one or more insects are present in the collection area (insect detection), (ii) to count insects in the collection area and/or (iii) to identify insects, i.e. to determine which insect (subclass, superorder, order, suborder, family, genus, species, stage and/or sex) it is.
  • a light source is required to illuminate the collection area so that light (electromagnetic radiation in the infrared, visible and/or ultraviolet range of the spectrum) is scattered/reflected from the illuminated collection area towards the camera.
  • Daylight can be used for this purpose.
  • a lighting unit that is designed for a defined, Provides lighting that is independent of daylight. This is preferably installed to the side of the camera so that the camera does not cast a shadow on the collection area.
  • light and “illumination” should not mean that the spectral range is limited to visible light (approximately 380 nm to approximately 780 nm). It is also conceivable that electromagnetic radiation with a wavelength below 380 nm (ultraviolet light: 100 nm to 380 nm) or above 780 nm (infrared light: 780 nm to 1000 pm) is used for illumination.
  • the image sensor and the optical elements are usually adapted to the electromagnetic radiation used.
  • the camera-monitored insect trap comprises a control unit.
  • the control unit can be a component of the camera or a separate device.
  • the control unit is configured to cause the camera to produce one or more image recordings of a collection area or a part thereof.
  • the control unit can be a computer system as described later in the description.
  • the camera can be a component of such a computer system.
  • the one or more image recordings can be individual image recordings or sequences of image recordings (e.g. video recordings).
  • the control unit can be configured to cause the camera to take images at defined times (e.g. once a day at 12 noon) and/or repeatedly at defined time periods (e.g. every hour between 7 a.m. and 8 p.m.) and/or when a defined event occurs (e.g. after sunrise when a defined brightness is reached or as a result of an insect being detected by a sensor) and/or as a result of a command from a user.
  • the control unit can be part of the camera or a device independent of the camera that can communicate with the camera via a wired or wireless connection (e.g. Bluetooth).
  • the insect trap also includes a transmitting unit. Images and/or information can be transmitted to a separate computer system via the transmitting unit. Transmission preferably takes place via a radio network, for example via a mobile network.
  • the transmitting unit can be a component of the control unit or a unit independent of the control unit.
  • the insect trap may include a receiving unit to receive commands from a separate computer system.
  • the transmitting unit and/or the receiving unit can be components of a computer system as described later in the description.
  • the images generated by the camera are usually analyzed automatically to detect, count and/or identify the insects located in the collection area or part thereof.
  • This analysis can be carried out by an analysis unit that can be part of the insect trap; however, this analysis can also be carried out by an analysis unit that can be part of a separate computer system to which the images are transmitted by means of the transmission unit of the insect trap.
  • the analysis unit can be part of a computer system as described further down in the description.
  • the analysis unit can comprise a trained machine learning model that is configured and trained to detect, count and/or identify insects depicted in images. Details on the automated detection, counting and/or identification of insects in images are provided in Publications on this topic are described (see e.g.: DCK Amarathunga et al.
  • the images generated by the camera can also be used to detect any malfunction of the camera-monitored insect trap.
  • a functional impairment describes a condition of the insect trap that affects one or more components of the insect trap or the insect trap as a whole in such a way that one or more functions are no longer performed or are no longer performed sufficiently or are no longer performed optimally. For example, a function may no longer be performed sufficiently or optimally if the impairment slows down or makes it more difficult or the result is inferior or the result is faulty.
  • Functions typically to be performed by the insect trap are attracting insects and/or immobilizing insects and/or isolating insects in the collection area and/or illuminating the collection area with one or more light sources and/or generating images of the collection area and/or sending images and/or other/further information to a separate computer system and/or other/further functions.
  • a functional impairment can be an impairment that currently affects the function or will affect the function in the near future if no measures are taken to maintain the functions.
  • Liquid level has fallen below a lower threshold If the collection area of the insect trap is designed as a container, a liquid (e.g. water or an aqueous solution) in the container can be used to immobilize insects. If the amount of liquid in the container falls below a threshold, insects may no longer be immobilized. This represents a functional impairment.
  • a liquid e.g. water or an aqueous solution
  • insects are only partially covered by liquid and the partial covering of the insects with liquid makes automated detection, counting and/or identification more difficult.
  • the contours of insects may not be clearly visible in an image due to the partial covering and/or unwanted reflections may occur at the transition points between liquid and insect.
  • the insect trap it is also possible for the insect trap to be provided with a storage container from which liquid automatically flows into the collection area when the liquid level in the collection area has fallen below a defined threshold value (as described, for example, in WO2021213824A1). It is possible for the amount of liquid still contained in the storage container to be shown in an image recording. If the amount of liquid contained in the storage container has fallen below a defined residual amount, it is possible that in the near future no more liquid will be able to flow from the storage container into the collection area; a functional impairment is imminent.
  • Liquid level has risen above an upper threshold It is possible that, for example, as a result of rainwater, the liquid level in the collection area has risen above an upper threshold. It is possible that liquid flows uncontrollably over a wall of the container that forms the collection area, removing insects floating on the liquid from the collection area.
  • Collection area is dirty: It is possible that contaminants have accumulated in the collection area, making it difficult to detect, count and/or identify insects. Contaminants can completely or partially cover insects or clump with them (form agglomerates). Contaminants can be leaves and/or other plant parts, dust, excretions from insects and/or other animals and/or the like.
  • Collection area is exhausted: It is possible that a large number of insects have already collected in the collection area, which are completely or partially overlapping and/or aggregating into clusters. This can impair the automated detection, counting and/or identification of the insects.
  • Algae formation in the collection area It is possible for algae to form in a liquid in the collection area. The algae can make it difficult to automatically detect, count and/or identify insects in the collection area.
  • Foam in the collection area If a collecting tray is filled with liquid, foam can form on the liquid over time. This foam can completely or partially block the view of insects in the collection area. It is also possible that insects are no longer immobilized by the liquid.
  • Ice formation or icing If a trap is filled with liquid, the liquid can freeze at low temperatures. This means that insects may no longer be immobilized by the liquid.
  • spider webs in the insect trap mean that the camera no longer has a clear view of the collection area.
  • spiders that are in front of a camera lens can also pose a problem.
  • insect constructs e.g. pupae of larvae
  • plant parts e.g. twigs, leaves, roots
  • Camera and/or optical elements are dirty: Deposits on a camera lens can cause impairment. It is possible that as a result of a deposit, the camera's field of view is restricted and the entire original collection area is no longer recorded. It is conceivable that deposits lead to blurred or partially blurred images. It is possible that water (e.g. rainwater) and/or another liquid (e.g. a liquid from the collection area) gets onto a lens and restricts the field of view and/or leads to blurred images.
  • water e.g. rainwater
  • another liquid e.g. a liquid from the collection area
  • Illumination source(s) defective and/or dirty If the insect trap is equipped with one or more illumination sources, it is possible that one or more of these illumination sources emits no or less electromagnetic radiation and/or that, due to contamination of one or more illumination sources, not enough electromagnetic radiation reaches and illuminates the collection area. The lack of or reduced illumination can lead to a loss of contrast and/or increased noise in the images, which in turn can make the automated detection, counting and/or identification of insects more difficult.
  • Unwanted reflections It is possible that reflections can be observed in the images at certain times, which may be caused by sunlight falling under a defined angle range. It is possible that sunlight enters the collection area at certain times of the day and/or year and causes unwanted reflections. It is possible that such unwanted reflections from sunlight were not observed when the insect trap was set up and/or only appeared later. It is possible that the insect trap was moved by wind and/or by an animal and/or precipitation from its original position and/or orientation to another position and/or orientation where the reflections occur.
  • Changes in position and/or location of components of the insect trap and/or the insect trap as a whole It is conceivable that over time there will be a change in the position and/or location and/or orientation of components of the insect trap and/or the insect trap as a whole. Such changes can be the result of weather influences (e.g. precipitation, wind, sunlight), interactions with animals and/or people and/or tremors in the earth (e.g. earthquakes, falling trees, vehicles driving past).
  • weather influences e.g. precipitation, wind, sunlight
  • interactions with animals and/or people and/or tremors in the earth e.g. earthquakes, falling trees, vehicles driving past.
  • insects accumulate in one or more places in the collection container.
  • Camera is defective It is possible that the camera is defective and the images produced are not suitable for automated detection, counting and/or identification of insects in the collection area. It is possible, for example, that the images produced are noisy and/or have a color cast and/or have a low contrast range and/or are completely black or white.
  • Camera does not produce images of the collection area: It is possible that the camera produces images during maintenance of the insect trap and/or when assembling the insect trap that do not show the collection area of the insect trap, but for example other components of the insect trap and/or the surroundings of the insect trap. Such images may be unsuitable for automated detection, counting and/or identification of insects in the collection area of the insect trap. Such images can also be identified and, for example, sorted out using the means described in this description. Sorting out can mean that a sorted out image is not automatically analyzed to detect, count and/or identify insects in the collection area.
  • the functional impairments and/or their effects are captured in images generated by the camera in the camera-monitored insect trap.
  • the images are used to train a machine learning model to automatically detect such functional impairments.
  • the term "automatically” means without human intervention.
  • Such a “machine learning model” can be understood as a computer-implemented data processing architecture.
  • the model can receive input data and provide output data based on this input data and model parameters.
  • the model can learn a relationship between the input data and the output data through training. During training, model parameters can be adjusted to produce a desired output for a given input.
  • the model When training such a model, the model is presented with training data from which it can learn.
  • the trained machine learning model is the result of the training process.
  • the training data includes the correct output data (target data) that the model should generate based on the input data.
  • patterns are recognized that map the input data to the target data.
  • the input data of the training data is fed into the model and the model generates output data.
  • the output data is compared with the target data.
  • Model parameters are changed so that the deviations between the output data and the target data are reduced to a (defined) minimum.
  • An optimization method such as a gradient method can be used to modify the model parameters with a view to reducing the deviations.
  • the deviations can be quantified using a loss function.
  • a loss function can be used to calculate an error (loss) for a given pair of output data and target data.
  • the goal of the training process can be to change (adjust) the parameters of the machine learning model so that the error is reduced to a (defined) minimum for all pairs of the training data set.
  • the error function can be the absolute difference between those numbers.
  • a high absolute error may mean that one or more model parameters need to be changed significantly.
  • difference metrics between vectors such as the mean square error, a cosine distance, a norm of the difference vector such as a Euclidean distance, a Chebyshev distance, an Lp norm of a difference vector, a weighted norm, or another type of difference metric of two vectors can be chosen as the error function.
  • an element-wise difference metric can be used.
  • the output data can be transformed, e.g. into a one-dimensional vector, before calculating an error value.
  • the machine learning model receives one or more image recordings as input data.
  • the model can be trained to output information for the one or more image recordings as to whether the one or more image recordings are one or more image recordings of an insect trap with a malfunction or one or more image recordings of an insect trap without a malfunction.
  • the machine learning model can be trained to distinguish image recordings of insect traps with malfunction/malfunctions from image recordings of insect traps without malfunction/malfunctions.
  • the machine learning model can be trained to assign the one or more image recordings to one of at least two classes, wherein at least a first class represents image recordings of insect traps that do not exhibit functional impairments and at least a second class represents image recordings of insect traps that exhibit functional impairments.
  • the machine learning model is trained on the basis of training data.
  • the training data includes a large number of images of one or more insect traps.
  • the term “multiplicity” means more than 10, preferably more than 100.
  • the images act as input data. Some of the images may show the one or more insect traps without any functional impairments, i.e. in a state in which they function properly. Another part of the images may show the one or more insect traps with a functional impairment.
  • the training data may also include target data.
  • the target data may indicate for each image whether the insect trap depicted in the image has a functional impairment or whether it has no functional impairment.
  • the target data may also include information about which functional impairment is present in the individual case and/or how severe it is and/or what its degree of severity is.
  • the machine learning model can be trained to assign each image to exactly one of two classes, where exactly one class represents images of insect traps that do not have any functional impairments and the other class represents images of insect traps that have one functional impairment or multiple functional impairments.
  • the machine learning model can be trained to perform binary classification. In such a case, it is sufficient that for each of the individual images in the training data there is information as to whether the image shows an insect trap with a functional impairment or whether the image shows an insect trap without any functional impairment. In such a case, the machine learning model can be trained to recognize insect traps with one (or more) functional impairments, regardless of which functional impairment(s) are involved.
  • the machine learning model can be trained to generate similar compressed representations for images that do not show an insect trap with a functional impairment. If an image of an insect trap with a functional impairment is fed to the trained machine learning model, the trained machine learning model generates a compressed representation of the image of the insect trap with the functional impairment that can be distinguished from the compressed representations of the images of insect traps without a functional impairment.
  • Such training where the machine learning model is only trained to recognize whether there is a functional impairment or no functional impairment, may be useful if a user is only interested in knowing whether the insect trap is working properly or whether intervention is required to eliminate a functional impairment (whatever it is).
  • the machine learning model can also be trained to recognize a specific functional impairment.
  • the specific functional impairment can be one of the functional impairments described earlier in this description. It is possible that a user is only interested in knowing whether the specific functional impairment is present (e.g. the liquid level is too low).
  • the machine learning model can be trained to assign each image capture to one of two classes, where one class represents images of insect traps that have the specific functional impairment and the other class represents images of insect traps that do not have the specific functional impairment, i.e. that either have no functional impairment at all or have a functional impairment other than the specific impairment.
  • the training data for each image capture includes information about whether or not the specific functional impairment is present in the insect trap depicted.
  • the machine learning model can also be trained to assign each image to one of more than two classes, where the classes may, for example, reflect the severity of the specific functional impairment.
  • a first class can represent images of insect traps in which the specific functional impairment does not occur (e.g. no contamination); a second class can represent images of insect traps in which the specific functional impairment occurs slightly (e.g. slight contamination); a third class can represent images of insect traps in which the specific functional impairment occurs clearly (e.g. significant contamination).
  • a slight functional impairment can mean that the insect trap is still sufficiently functional, but that maintenance is necessary in the future to avoid further functional impairment.
  • a significant or severe functional impairment can mean that immediate maintenance is required. More than the three levels mentioned are also conceivable, e.g. four (e.g.
  • the training data for each image capture includes information on whether the functional impairment is present in the imaged insect trap and, if so, how severe it is and/or with what severity it occurs.
  • the machine learning model can also be trained to recognize more than one specific functional impairment, i.e. to distinguish different functional impairments from one another.
  • the machine learning model can be trained to learn a number n of specific functional impairments, where n is an integer greater than 1.
  • the machine learning model can be trained to assign each image to one of at least n+1 classes, where a first class represents images of insect traps that do not exhibit a functional impairment, and each of the at least n remaining classes represents images of insect traps that show one of the n specific functional impairments. It is also possible for the machine learning model to be additionally trained to recognize two or more degrees of severity of one or more of the n specific functional impairments.
  • the machine learning model can be trained to recognize for one or more of the n specific functional impairments how severe it is and/or with what degree of severity it occurs.
  • the training data includes, for each image acquisition, information on whether a functional impairment is present, if a functional impairment is present, which specific functional impairment is present, and for one or more of the specific functional impairments, how severe it is and/or with what severity it occurs.
  • Camera-monitored insect traps can be used to generate the training data described in this description.
  • Camera-monitored insect traps can be operated for a period of time.
  • the images generated by the camera-monitored insect traps can be analyzed by one or more experts.
  • the one or more experts can provide each image with one of the pieces of information (annotations) required for training, which are then used as target data.
  • the one or more experts can view the images and provide each image with information as to whether the respective image shows an insect trap with no functional impairment or with a functional impairment. If necessary for training the machine learning model, each image showing an insect trap with a functional impairment can be provided with information as to how severe the functional impairment is and/or with what severity it occurs. If necessary for training the machine learning model, each image showing an insect trap with a functional impairment can be annotated with information about which specific functional impairment is present.
  • the machine learning model can be configured to assign each image recording to one of at least two classes.
  • the class assignment can be output by the machine learning model, for example, in the form of a number.
  • the number 0 can represent images of insect traps that show no functional impairment
  • the number 1 can represent images of insect traps that show a first specific functional impairment
  • the number 2 can represent images of insect traps that show a second specific functional impairment, etc.
  • the machine learning model can be configured to output a vector for each image recording, wherein the vector includes a number for each functional impairment at a coordinate of the vector, which number indicates whether the respective functional impairment is shown in the image recording (i.e. is present in the insect trap shown) or is not shown (i.e. is not present in the insect trap shown).
  • the number 0 can indicate that a specific functional impairment is not present and the number 1 can indicate that the specific functional impairment is present.
  • the location in the vector (coordinate) at which the respective number occurs can provide information about which specific functional impairment is involved in each case.
  • the machine learning model is configured to specify a probability for one or more (specific) functional impairments that the (specific) functional impairment occurs in the respective insect trap depicted.
  • the probability can, for example, be specified as a value in the range from 0 to 1, with the probability being greater the larger the value.
  • the machine learning model is configured to output a severity level for one or more (specific) functional impairments with which the (specific) functional impairment occurs in the respective insect trap depicted.
  • the output (output data) produced by the machine learning model based on an input image can be compared with the target data.
  • deviations between the output data and the target data can be quantified.
  • the deviations can be reduced by modifying model parameters. If the deviations reach a (predefined) minimum or a plateau, training can be terminated.
  • the trained machine learning model can be used to detect one or more functional impairments and optionally their severity in an insect trap.
  • a new image of a collection area of an insect trap can be fed to the machine learning model.
  • the term “new” means that the corresponding image has not already been used to train the machine learning model.
  • the trained machine learning model assigns the new image to one of the at least two classes that were used to train the machine learning model.
  • the trained machine learning model outputs information about which class the machine learning model has assigned the image to. It is possible that the trained machine learning model outputs information about the probability that one or more functional impairments are present and/or how serious they are and/or with what degree of severity they occur.
  • the output of the machine learning model may be displayed on a screen, printed on a printer, stored in a repository, and/or transmitted to a separate computer system (e.g., over a network).
  • the output of the machine learning model can be used to automatically discard images of insect traps with one or more functional impairments.
  • a message can be issued to a user.
  • Such a message can inform the user that an insect trap has a functional impairment.
  • the message can inform the user that an image will not be analyzed to detect, count, and/or identify insects because the insect trap that is at least partially depicted in the image has a functional impairment.
  • a message to a user can include the following information: which insect trap is affected (e.g. a location of the insect trap can be specified), what functional impairment exists, how severe the functional impairment is, what measures can be taken to restore the full functionality of the insect trap, when should the measures be taken to avoid further functional impairment). It is also possible that the image recording in which the trained machine learning model has detected a functional impairment is also displayed to the user so that the user can form his or her own picture of the functional impairment.
  • the output of the trained machine learning model is a probability value for the presence of a functional impairment
  • this probability value can be compared to a predefined threshold value. If the probability value is greater than or equal to the threshold value, a notification can be issued to a user about the presence of a functional impairment in an insect trap. If the probability value is less than the threshold value, the image recording can be subjected to analysis to detect, count and/or identify insects in the collection area of the insect trap.
  • the probability value there is more than one threshold value with which the probability value is compared. For example, it is possible that there is an upper threshold value and a lower threshold value. If the probability value is below the lower threshold value, the probability of a functional impairment is so low that the user does not need to be informed.
  • the image recording can be submitted to an analysis to detect, count and/or identify insects in the collection area of the insect trap. If the probability value is above the upper threshold value, the probability of a functional impairment is so high that a message is issued to the user about the presence of a functional impairment. It is possible that the image recording is not submitted to an analysis to detect, count and/or identify insects.
  • the probability value is in the range from the lower threshold to the upper threshold, there is a certain degree of uncertainty as to whether or not there is a functional impairment. This uncertainty may result from the fact that the image acquisition requires a comparatively is of low quality. It is possible that a command is sent to the control unit of the insect trap to generate another image recording in order to also feed this additional image recording to the trained machine learning model for detecting a functional impairment. It is possible that when generating the additional image recording, parameters are changed in order to increase the quality of the image recording. For example, the exposure time can be increased and/or the lighting of the collection area can be increased by one or more lighting units and/or filters (color filters, polarization filters and/or the like) can be used.
  • the additional image recording can then provide clarity as to whether or not a functional impairment is present.
  • a functional impairment is only just becoming apparent, ie that there is only a comparatively minor functional impairment (e.g. slight contamination).
  • the control unit of the insect trap is prompted by a command to reduce the time interval between two consecutive image recordings. Images are then taken at reduced intervals between each other in order to detect further impairment of function and/or an increase in the severity of the impairment at an early stage.
  • Threshold values can be set by an expert based on his or her experience. However, they can also be set by a user. It is possible for the user to decide for themselves whether they would like to be informed when there is a low probability of a functional impairment, or whether they would rather be informed when the probability of a functional impairment is comparatively high.
  • the machine learning model of the present disclosure may be or comprise an artificial neural network.
  • An "artificial neural network” comprises at least three layers of processing elements: a first layer with input neurons (nodes), a k-th layer with at least one output neuron (node), and k-2 inner layers, where k is a natural number and greater than 2.
  • the input neurons are used to receive the input representations. Typically, there is one input neuron for each pixel of an image that is input to the artificial neural network. There may be additional input neurons for additional input values (e.g. information about the image capture, the insect trap depicted, camera parameters, weather conditions when the image capture was generated, and/or the like).
  • additional input neurons e.g. information about the image capture, the insect trap depicted, camera parameters, weather conditions when the image capture was generated, and/or the like).
  • the output neurons can be used to output information about which class the input image was assigned to and/or the probability with which it was assigned to the class.
  • the processing elements of the layers between the input neurons and the output neurons are connected in a predetermined pattern with predetermined connection weights.
  • the neural network can be trained using a backpropagation method, for example.
  • the aim is to map the input data to the target data as reliably as possible for the network.
  • the quality of the prediction is described by an error function.
  • the aim is to minimize the error function.
  • the backpropagation method is used to train an artificial neural network by changing the connection weights.
  • connection weights between the processing elements contain information regarding the relationship between image recordings and functional impairments of the insect traps depicted in the image recordings, which can be used to determine a functional impairment of a Insect traps can be detected early.
  • new means that the new image was not already used to train the artificial neural network.
  • a cross-validation method can be used to split the data into training and validation sets.
  • the training set is used in backpropagation training of the network weights.
  • the validation set is used to check the prediction accuracy of the trained network when applied to unknown (new) data.
  • the artificial neural network can be a so-called convolutional neural network (CNN for short) or it can include one.
  • CNN convolutional neural network
  • a convolutional neural network (“CNN”) is able to process input data in the form of a matrix. This makes it possible to use images presented as a matrix (e.g. width x height x color channels) as input data.
  • a neural network e.g. in the form of a multi-layer perceptron (MLP), on the other hand, requires a vector as input, i.e. in order to use an image as input, the image elements (pixels) of the image would have to be rolled out one after the other in a long chain.
  • a CNN usually consists essentially of filters (convolutional layer) and aggregation layers (pooling layer), which repeat alternately, and at the end of one or more layers of fully connected neurons (dense / fully connected layer).
  • the scientific literature describes numerous architectures of artificial neural networks that are used to assign an image to a class (image classification). Examples are Xception (see e.g.: F. Chollet: EfficientNet (see e.g.: T. Mingxing Tan et al. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, arXiv:1905.11946v5), DenseNet (see e.g.: G. Wang et al. Study on Image Classification Algorithm Based on Improved DenseNet, Journal of Physics: Conference Series, 2021, 1952, 022011), Inception (see e.g. J. Bankar et al.
  • the machine learning model of the present disclosure may have such or a similar architecture.
  • the machine learning model of the present disclosure may be or include a transformer.
  • a transformer is a model that can translate a sequence of characters into another sequence of characters, taking into account dependencies between distant characters. Such a model can be used, for example, to translate text from one language to another.
  • a transformer includes encoders connected in series and decoders connected in series. Transformers have already been used successfully to classify images (see, for example: A. Dosovitskiy et al.: An image is worth 16 x 16 Words: Transformers for image recognition at scale, arXiv:2010.11929v2; A. Khan et al. : Transformers in Vision: A Survey, arXiv:2101.01169v5).
  • the machine learning model of the present disclosure may have a hybrid architecture in which, for example, elements of a CNN are combined with elements of a transformer.
  • the machine learning model of the present disclosure can be initialized using standard methods (random initialization, He initialization, Xavier initialization, etc.). However, it can also be pre-trained on the basis of publicly available, already annotated images (see e.g. https://www.image-net.org). The training of the machine learning model can therefore be based on initialization or pre-training and can also include transfer learning, so that only parts of the weights/parameters of the machine learning model are retrained.
  • the machine learning model may have an autoencoder architecture.
  • An “autoencoder” is an artificial neural network that can be used to learn efficient data encodings in an unsupervised learning process. In general, the task of an autoencoder is to learn a compressed representation for a dataset and thus extract essential features. This allows it to be used for dimensionality reduction by training the network to ignore "noise”.
  • An autoencoder includes an encoder, a decoder, and a layer between the encoder and the decoder that has a smaller dimension than the encoder's input layer and the decoder's output layer.
  • This layer forces the encoder to produce a compressed representation of the input data that minimizes noise and is sufficient for the decoder to reconstruct the input data.
  • the autoencoder can therefore be trained to generate a compressed representation of an input image.
  • the autoencoder can be trained exclusively on the basis of images of insect traps that do not exhibit any functional impairment. However, the autoencoder can also be trained on the basis of images that show insect traps with and without functional impairment.
  • the decoder can be discarded and the encoder can be used to generate a compressed representation for each input image. If a new insect trap is installed, a first image of the insect trap can be generated after installation.
  • This first image which shows the insect trap without any functional impairment, can be used as a reference.
  • a compressed representation of the first image can be generated using the encoder of the trained autoencoder. This compressed representation is the reference representation.
  • compressed representations can be generated from images taken by the insect trap camera using the encoder. The more similar a compressed representation is to the reference image, the less likely it is that there is a functional impairment. The more a compressed representation differs from the reference image, the more likely it is that there is a functional impairment.
  • the similarity of representations can be quantified using a similarity or distance measure. Examples of such similarity or distance measures are cosine similarity, Manhattan distance, Euclidean distance, Minkowski distance, Lp norm, Chebyshev distance. If a distance measure exceeds or falls below a predefined threshold that can be set by an expert or specified by a user, a message can be issued that there is a functional impairment and/or the image can be discarded.
  • U-Net An example of an autoencoder architecture is the U-Net (see e.g. O. Ronneberger et al.-. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, pages 234-241, Springer, 2015, https://doi.org/10.1007/978-3-319-24574-4_28).
  • the autoencoder described there has an encoder and a decoder as well as a projection head that generates an output based on the compressed representation that the encoder generates, indicating whether the image shows an insect trap with a functional impairment or without a functional impairment.
  • the autoencoder is not only trained to generate a compressed representation of the input data and to reconstruct the input data based on the compressed representation, but the autoencoder is also trained to distinguish images of insect traps with functional impairment from images of insect traps without functional impairment (contrastive reconstruction).
  • the encoder can be used to generate a compressed reference representation for a first image of a newly installed insect trap. This compressed reference representation is compared with compressed representations of images taken during operation of the insect trap, and in the event of a defined deviation, a message is issued indicating that a functional impairment has occurred. It is also possible to use the encoder together with the projection operator (projection head) directly for classification.
  • Fig. 1 shows schematically and by way of example the training of a machine learning model.
  • the machine learning model is trained using training data TD.
  • the training data TD comprise a large number of images.
  • Each image I shows a collection area of an insect trap (not shown in Fig. 1).
  • the training data TD further comprise, for each image I, information A as to whether the insect trap depicted in the image I has a functional impairment or whether it has no functional impairment.
  • the information A comprises information as to which specific functional impairment is present in the individual case and/or how serious the functional impairment is and/or what degree of severity the functional impairment has.
  • Fig. 1 only shows one training data set comprising an image I with information A; however, the training data comprise a large number of such training data sets.
  • the image recording I represents input data for the machine learning model MLM.
  • the information A represents target data for the machine learning model MLM.
  • the image recording I is fed to the machine learning model MLM.
  • the machine learning model MLM assigns the image recording to one of at least two classes. The assignment is made on the basis of the image recording I and on the basis of model parameters MP.
  • the machine learning model MLM outputs information O that indicates which class the image recording was assigned to and/or the probability with which the image recording was assigned to one or more of the at least two classes.
  • the output information O is compared with the information A.
  • An error function LF is used to quantify the deviations between the information O (output) and the information A (target data).
  • An error value LV can be calculated for each pair of information A and information O.
  • the error value LV can be reduced in an optimization process (e.g. a gradient method) by modifying model parameters MP.
  • the goal of the training can be to reduce the error value for all image recordings to a predefined minimum. Once the predefined minimum is reached, the training can be terminated.
  • Fig. 2 shows schematically the use of a trained machine learning model to detect a functional impairment in an insect trap.
  • the trained model MLM 1 of the machine learning can have been trained in a training method as described in relation to Fig. 1.
  • the trained machine learning model MLM 1 is fed a new image I*.
  • the new image I* shows a collection area of an insect trap.
  • the model assigns the new image I* to one of the at least two classes for which the trained machine learning model MLM 1 was trained.
  • the trained machine learning model MLM 1 outputs information O which indicates which class the image was assigned to and/or with what probability the image was assigned to one or more of the at least two classes.
  • the information O can be output to a user.
  • Fig. 3 schematically shows another example of training a machine learning model.
  • the machine learning model has an autoencoder architecture.
  • the autoencoder AE comprises an encoder E and a decoder D.
  • the encoder E is configured to generate a compressed representation CR for an image recording I based on model parameters MP.
  • the decoder D is configured to generate a reconstructed image recording RI based on the compressed representation CR and on model parameters MP that is as close as possible to the image recording I.
  • An error function LF can be used to quantify deviations between the image recording I and the reconstructed image recording RI. The deviations can be minimized in an optimization process (e.g. in a gradient process) by modifying model parameters MP.
  • the autoencoder AE is usually trained on the basis of a large number of image recordings in an unsupervised learning process. In Fig. 3, only one image recording I of the large number of image recordings is shown.
  • Each image of the plurality of image captures shows a collection area or a portion thereof of one or more insect traps.
  • the one or more insect traps may have one or more functional impairments or may be free of functional impairments.
  • Fig. 4 schematically shows another example of using a trained machine learning model to detect a functional impairment in an insect trap.
  • the trained machine learning model can have been trained in a training process as described in relation to Fig. 3.
  • the trained machine learning model can be an encoder E of an autoencoder.
  • the encoder E is shown twice in Fig. 4; however, it is the same encoder in both cases; it is only shown twice to illustrate the detection process.
  • a first image recording L* of a collection area of an insect trap is fed to the encoder E.
  • the asterisk * indicates that the image recording L* was not used to train the machine learning model.
  • the image recording L* is preferably an image recording of an insect trap without functional impairment, which can have been created, for example, after the insect trap was installed.
  • the encoder E is configured to generate a first compressed representation CRi for the first image recording L*.
  • the first compressed representation CRi can be used as a reference representation. It can be stored in a data memory. While the insect trap is operating, further images of the collection area of the insect trap are generated. Fig. 4 shows one of these further images, the image recording L*.
  • the image recording L* is also fed to the encoder E.
  • the encoder E generates a second compressed representation CR2 for the image recording L*.
  • the first representation CRi and the second representation CR2 are compared with each other in a next step. During this comparison, a distance measure D is calculated that quantifies the differences between the first representation CRi and the second representation CR2.
  • a message M is issued.
  • the message M includes information that the insect trap shown in the image recording I2* has a functional impairment.
  • the image recording I2* is fed to an analysis DCI(l2*) in order to detect insects in the collection area of the insect trap and/or to count and/or identify the insects located in the collection area.
  • Fig. 5 shows an example and schematically a computer-implemented method for training a machine learning model in the form of a flow chart.
  • the training procedure (100) includes the following steps:
  • the training data comprise input data and target data
  • the input data comprise a plurality of image recordings of one or more insect traps, wherein each image recording shows at least part of a collection area of an insect trap
  • the target data comprise a class assignment for each image recording, wherein the class assignment indicates which class of at least two classes the image recording is assigned to, wherein at least a first class represents image recordings of insect traps that do not have a functional impairment and at least a second class represents image recordings of insect traps that have a functional impairment
  • (120) providing a machine learning model, wherein the machine learning model is configured to assign the image recording to one of the at least two classes based on an image recording and on the basis of model parameters,
  • (140) storing and/or outputting the trained machine learning model and/or using the trained machine learning model to detect a functional impairment in a camera-monitored insect trap.
  • Fig. 6 shows an example and schematically a computer-implemented method for detecting a functional impairment in a camera-monitored insect trap.
  • the detection method (200) comprises the following steps:
  • (220) providing a trained machine learning model, wherein the machine learning model is configured and trained on the basis of training data to assign image recordings to one of at least two classes, wherein the training data comprises input data and target data,
  • the input data comprises a plurality of images of one or more insect traps, each image showing at least a portion of a collection area of an insect trap
  • the target data for each image recording comprises a class assignment, wherein the class assignment indicates which class of at least two classes the image recording is assigned to, wherein at least a first class represents images of insect traps that do not have a functional impairment and at least a second class represents images of insect traps that have a functional impairment
  • a “computer system” is an electronic data processing system that processes data using programmable calculation rules. Such a system usually includes a “computer”, the unit that includes a processor for carrying out logical operations, and peripherals.
  • peripherals refers to all devices that are connected to the computer and are used to control the computer and/or as input and output devices. Examples of these are monitors (screens), printers, scanners, mice, keyboards, drives, cameras, microphones, speakers, etc. Internal connections and expansion cards are also considered peripherals in computer technology.
  • Today's computer systems are often divided into desktop PCs, portable PCs, laptops, notebooks, netbooks and tablet PCs as well as so-called handhelds (e.g. smartphones); all of these systems can be used to carry out the invention.
  • the term "computer” should be interpreted broadly to include any type of electronic device with data processing capabilities, including, as non-limiting examples, personal computers, servers, embedded cores, communications devices, processors (e.g., digital signal processors (DSP), microcontrollers, field programmable gate arrays (FPGA), application specific integrated circuits (ASIC), etc.), and other electronic computing devices.
  • processors e.g., digital signal processors (DSP), microcontrollers, field programmable gate arrays (FPGA), application specific integrated circuits (ASIC), etc.
  • DSP digital signal processors
  • FPGA field programmable gate arrays
  • ASIC application specific integrated circuits
  • processor includes any kind of computation or manipulation or transformation of data that is represented as physical, e.g. electronic, phenomena and that may occur or be stored, e.g. in registers and/or memories of at least one computer or processor.
  • processor includes a single processing unit or a plurality of distributed or remote such units.
  • Fig. 7 shows an exemplary and schematic embodiment of a computer system of the present disclosure.
  • the computer system (1) comprises an input unit (10), a control and computing unit (20) and an output unit (30).
  • the control and computing unit (20) is configured to cause the input unit to receive an image recording, wherein the received image recording shows a collection area of an insect trap, to feed the received image recording to a trained machine learning model, wherein the machine learning model is configured and has been trained on the basis of training data, to assign image recordings to one of at least two classes, wherein the training data comprises input data and target data, o wherein the input data comprises a plurality of image recordings of one or more insect traps, wherein each image recording shows at least part of a collection area of an insect trap, o wherein the target data for each image recording comprises a class assignment, wherein the class assignment indicates which class of at least two classes the image recording is assigned to, wherein at least a first class represents image recordings of insect traps that do not have a functional impairment and at least a second class represents image recordings of insect traps that have a functional impairment, to receive information from the machine learning model as to which class of the at least two classes the image recording was fed to and/or with what probability the image recording is assigned to one or
  • Fig. 8 shows an exemplary and schematic illustration of another embodiment of a computer system of the present disclosure.
  • the computer system (1) comprises a processing unit (20) connected to a memory (50).
  • the processing unit (20) may comprise one or more processors alone or in combination with one or more memories.
  • the processing unit (20) may be ordinary computer hardware capable of processing information such as digital images, computer programs and/or other digital information.
  • the processing unit (20) typically consists of an arrangement of electronic circuits, some of which may be implemented as an integrated circuit or as multiple interconnected integrated circuits (an integrated circuit is sometimes referred to as a "chip").
  • the processing unit (20) may be configured to execute computer programs that may be stored in a main memory of the processing unit (20) or in the memory (50) of the same or another computer system.
  • the memory (50) may be ordinary computer hardware capable of storing information such as digital images (e.g. representations of the examination area), data, computer programs and/or other digital information either temporarily and/or permanently.
  • the memory (50) may comprise volatile and/or non-volatile memory and may be permanently installed or removable. Examples of suitable memories are RAM (Random Access Memory), ROM (Read-Only Memory), a hard disk, flash memory, a removable computer diskette, an optical disc, a magnetic tape, or a combination of the above.
  • Optical discs may include read-only compact discs (CD-ROM), read/write compact discs (CD-R/W), DVDs, Blu-ray discs, and the like.
  • the processing unit (20) may also be connected to one or more interfaces (11, 12, 30, 41, 42) to display, transmit and/or to receive.
  • the interfaces may comprise one or more communication interfaces (41, 42) and/or one or more user interfaces (11, 12, 30).
  • the one or more communication interfaces (41, 42) may be configured to send and/or receive information, e.g. to and/or from an MRI scanner, a CT scanner, an ultrasound camera, other computer systems, networks, data storage, or the like.
  • the one or more communication interfaces (41, 42) may be configured to transmit and/or receive information via physical (wired) and/or wireless communication links.
  • the one or more communication interfaces (41, 42) may include one or more interfaces for connecting to a network, e.g. using technologies such as cellular, Wi-Fi, satellite, cable, DSL, fiber optic, and/or the like.
  • the one or more communication interfaces (41, 42) may include one or more short-range communication interfaces configured to connect devices with short-range communication technologies such as NFC, RFID, Bluetooth, Bluetooth LE, ZigBee, infrared (e.g., IrDA), or the like.
  • the user interfaces (11, 12, 30) may include a display (30).
  • a display (30) may be configured to display information to a user. Suitable examples include a liquid crystal display (LCD), a light emitting diode display (LED), a plasma display panel (PDP), or the like.
  • the user input interface(s) (11, 12) may be wired or wireless and may be configured to receive information from a user into the computer system (1), e.g. for processing, storage, and/or display. Suitable examples of user input interfaces (11, 12) include a microphone, an image or video capture device (e.g. a camera), a keyboard or keypad, a joystick, a touch-sensitive surface (separate from or integrated into a touchscreen), or the like.
  • the user interfaces may include automatic identification and data capture (AIDC) technology for machine-readable information. These may include barcodes, radio frequency identification (RFID), magnetic stripes, optical character recognition (OCR), integrated circuit cards (ICC), and the like.
  • the user interfaces may further include one or more interfaces for communicating with peripheral devices such as printers and the like.
  • One or more computer programs (60) may be stored in the memory (50) and executed by the processing unit (20), which is thereby programmed to perform the functions described in this description.
  • the retrieval, loading and execution of instructions of the computer program (60) may be carried out sequentially, so that one instruction is retrieved, loaded and executed at a time. However, the retrieval, loading and/or execution may also be carried out in parallel.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Pest Control & Pesticides (AREA)
  • Engineering & Computer Science (AREA)
  • Insects & Arthropods (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Catching Or Destruction (AREA)

Abstract

Die hierin offenbarten Systeme, Verfahren und Computerprogramme beziehen sich auf die automatisierte Erkennung von Funktionsbeeinträchtigungen bei kameraüberwachten Insektenfallen mittels Methoden des maschinellen Lernens.

Description

Erkennen von Funktionsbeeinträchtigungen bei kameraüberwachten Insektenfallen
TECHNISCHES GEBIET
Die hierin offenbarten Systeme, Verfahren und Computerprogramme beziehen sich auf die automatisierte Erkennung von Funktionsbeeinträchtigungen bei kameraüberwachten Insektenfallen mittels Methoden des maschinellen Lernens.
EINLEITUNG
WO2018054767A1 offenbart eine Insektenfalle, die von einem Nutzer aufgesucht wird, um zu prüfen, ob Insekten in die Insektenfalle gelangt sind. Mit Hilfe eines Smartphones erzeugt der Nutzer eine Bildaufnahme von den in der Falle befindlichen Insekten. Mit Hilfe eines Computerprogramms werden die in der Bildaufnahme abgebildeten Insekten automatisiert detektiert, gezählt und/oder identifiziert.
W02020058175A1 und W02020058170A1 offenbaren eine Insektenfalle, die mit einer Kamera ausgestattet ist. Die Kamera nimmt automatisiert Bilder von einem Sammelbereich der Insektenfalle auf, in dem sich Insekten ansammeln. Die Bilder werden mittels einer Sendeeinheit an ein separates Computersystem übermittelt, wo sie von einem Nutzer begutachtet oder mittels Bilderkennungsalgorithmen analysiert werden, um die Zahl der in dem Sammelbereich befindlichen Insekten zu ermitteln und/oder die Insekten zu identifizieren.
Die in W02020058175A1 und W02020058170A1 offenbarten Insektenfallen haben gegenüber der in WO2018054767A1 offenbarten Insektenfalle den Vorteil, dass der Nutzer die Insektenfallen nicht aufsuchen muss, um zu prüfen, ob Insekten in die Insektenfallen gelangt sind.
Es ist möglich, dass es im Laufe der Zeit bei einer kameraüberwachten Insektenfalle zu einer Beeinträchtigung einer Funktion kommt. Es ist beispielsweise möglich, dass eine Flüssigkeit, die in der Insektenfalle zur Immobilisierung von Insekten verwendet wird, im Laufe der Zeit verdunstet. Es kann sein, dass der Flüssigkeitsstand in der Insektenfalle auf ein Niveau sinkt, bei dem Insekten nicht mehr immobilisiert werden. Eine weitere mögliche Funktionsbeeinträchtigung kann eine Verschmutzung des Sammelbereichs und/oder von optischen Elementen der Kamera (z.B. einer Linse) sein. Weitere mögliche Funktionsbeeinträchtigungen sind weiter hinten in der Beschreibung aufgeführt.
Eine Funktionsbeeinträchtigung führt dazu, dass die von der Insektenfalle zu erfüllende Funktion nicht mehr oder nicht mehr ausreichend erfüllt wird.
ZUSAMMENFASSUNG
Dieses Problem wird durch die Gegenstände der unabhängigen Ansprüche der vorliegenden Offenbarung gelöst. Bevorzugte Ausführungsformen finden sich in den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen.
Die vorliegende Offenbarung beschreibt Mittel, mit denen eine Funktionsbeeinträchtigung einer kameraüberwachten Insektenfalle frühzeitig erkannt werden kann.
Ein erster Gegenstand der vorliegenden Offenbarung ist ein computerimplementiertes Verfahren zum Erkennen einer Funktionsbeeinträchtigung bei einer kameraüberwachten Insektenfalle. Das Erkennungsverfahren umfasst:
Empfangen einer Bildaufnahme, wobei die Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden,
Zuführen der Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, für den Fall, dass die Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt: Ausgeben einer Mitteilung, dass die zumindest anteilig in der Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein Computersystem umfassend: eine Eingabeeinheit eine Steuer- und Recheneinheit und eine Ausgabeeinheit, wobei die Steuer- und Recheneinheit konfiguriert ist, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, die empfangene Bildaufnahme einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden, von dem Modell des maschinellen Lernens eine Information zu empfangen, wobei die Information angibt, ob die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, wobei die Mitteilung angibt, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist, wenn die von dem Modell des maschinellen Lernens ausgegebene Information angibt, dass die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein nicht-flüchtiges computerlesbares Speichermedium, auf dem Softwarebefehle gespeichert sind, die, wenn sie von einem Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen, folgende Schritte auszuführen:
Empfangen einer Bildaufnahme, wobei die Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, für den Fall, dass die Information angibt, dass die empfange Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt: Ausgeben einer Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein System umfassend:
• eine Insektenfalle,
• eine Kamera,
• eine Steuereinheit,
• eine Analyseneinheit,
• eine Sendeeinheit, und
• eine Ausgabeeinheit wobei die Steuereinheit konfiguriert ist, die Kamera zu veranlassen, eine oder mehrere Bildaufnahmen von einem Sammelbereich der Insektenfalle zu erzeugen, wobei die Analyseneinheit konfiguriert ist, die eine oder die mehreren erzeugten Bildaufnahmen einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfalle ohne Funktionsbeeinträchtigung zu unterscheiden, wobei die Analyseneinheit konfiguriert ist, eine Information von dem Modell des maschinellen Lernens zu empfangen, wobei die Information angibt, ob die eine oder die mehreren Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt/zeigen, wobei die Sendeeinheit konfiguriert ist, die Information und/oder die eine oder die mehreren Bildaufnahmen an ein separates Computersystem zu übermitteln, wobei die Ausgabeeinheit konfiguriert ist, die Information auszugeben.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein Kit umfassend eine Insektenfalle und ein Computerprogrammprodukt, wobei die Insektenfalle eine Kamera oder Mittel zum Aufnehmen einer Kamera umfasst, wobei das Computerprogrammprodukt Programmbefehle umfasst, wobei die Programmbefehle in einen Arbeitsspeicher eines Computersystems geladen werden können, und das Computersystem veranlassen, folgende Schritt auszuführen:
Empfangen einer Bildaufnahme, wobei die Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfalle ohne Funktionsbeeinträchtigung zu unterscheiden,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, für den Fall, dass die Information angibt, dass die empfange Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt: Ausgeben einer Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist. KURZE BESCHREIBUNG DER ZEICHNUNGEN
Fig. 1 zeigt schematisch und beispielhaft das Training eines Modells des maschinellen Lernens.
Fig. 2 zeigt schematisch die Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Insektenfalle.
Fig. 3 zeigt schematisch ein weiteres Beispiel für das Trainieren eines Modells des maschinellen Lernens.
Fig. 4 zeigt schematisch ein weiteres Beispiel einer Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Insektenfalle.
Fig. 5 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Trainieren eines Modells des maschinellen Lernens in Form eines Ablaufschemas.
Fig. 6 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Erkennen einer Funktionsbeeinträchtigung bei einer kameraüberwachten Insektenfalle in Form eines Ablaufschemas.
Fig. 7 zeigt beispielhaft und schematisch eine Ausführungsform eines Computersystems der vorliegenden Offenbarung.
Fig. 8 zeigt beispielhaft und schematisch eine weitere Ausführungsform eines Computersystems der vorliegenden Offenbarung.
AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung wird im Folgenden näher erläutert, ohne zwischen den Gegenständen der vorliegenden Offenbarung (Verfahren, Computersystem, computerlesbares Speichermedium, System, Kit) zu unterscheiden. Vielmehr sollen die nachfolgenden Ausführungen sinngemäß für alle Gegenstände der Erfindung gelten, unabhängig davon, in welchem Zusammenhang (Verfahren, Computersystem, computerlesbares Speichermedium, System, Kit) sie beschrieben werden.
Wenn in der vorliegenden Beschreibung oder in den Ansprüchen Schritte in einer Reihenfolge angegeben sind, bedeutet dies nicht unbedingt, dass die Erfindung auf die angegebene Reihenfolge beschränkt ist. Vielmehr ist es denkbar, dass die Schritte auch in einer anderen Reihenfolge oder auch parallel zueinander ausgeführt werden können, es sei denn, ein Schritt baut auf einem anderen auf, was zwingend erfordert, dass der aufbauende Schritt anschließend ausgeführt wird (dies wird aber im Einzelfall klar). Die genannten Reihenfolgen sind somit bevorzugte Ausführungsformen der vorliegenden Offenbarung.
Die Erfindung wird an einigen Stellen in Bezug auf Zeichnungen näher erläutert. Dabei sind in den Zeichnungen konkrete Ausführungsformen mit konkreten Merkmalen und Merkmalskombinationen dargestellt, die in erster Linie der Veranschaulichung dienen; die Erfindung soll nicht so verstanden werden, dass sie auf die in den Zeichnungen dargestellten Merkmale und Merkmalskombinationen beschränkt ist. Ferner sollen Aussagen, die bei der Beschreibung der Zeichnungen in Bezug auf Merkmale und Merkmalskombinationen getroffen werden, allgemein gelten, das heißt auch auf andere Ausführungsformen übertragbar und nicht auf die gezeigten Ausführungsformen beschränkt sein.
Die vorliegende Offenbarung beschreibt Mittel, mit denen eine Funktionsbeeinträchtigung bei einer kameraüberwachten Insektenfalle frühzeitig und automatisch erkannt wird.
Unter einer Insektenfalle wird eine Vorrichtung verstanden, die von Insekten zufällig oder gezielt aufgesucht wird, und die es einem Nutzer erlaubt zu erkennen, ob in einem Bereich Insekten vorkommen. Der Bereich kann beispielsweise ein Feld oder ein Gewächshaus für den Anbau von Kulturpflanzen, ein Gebäude (z.B. ein Lagerraum für die Lagerung von Lebensmitteln und/oder Tierfutter, ein Krankenhaus, ein Altersheim, eine Schule und/oder dergleichen), ein Raum in einem Gebäude (z.B. ein Wohnraum, ein Schlafzimmer, eine Kantine, eine Krankenstation und/oder dergleichen) oder ein anderer Bereich sein.
Der Begriff Insekt umfasst alle Stadien von der Larve (Raupe, Afterraupe) bis zum Adultstadium.
Der Begriff Insektenfalle soll nicht so verstanden werden, dass ausschließlich Insekten in die Insektenfalle gelangen können. Der Begriff Insektenfalle wurde gewählt, weil solche Fallen überwiegend dazu verwendet werden, zu prüfen, ob Insekten in einem Bereich vorkommen. Die Insektenfalle kann aber auch genutzt werden, um das Vorkommen anderer Gliederfüßer (lat. Arthropoda) zu erkennen, z.B. das Vorkommen von Spinnen. Ebenso ist es denkbar, dass die Insektenfalle zum Erkennen des Vorkommens einer definierten Spezies in einem Bereich verwendet wird, und dementsprechend für das Anlocken und/oder Immobilisieren und/oder Erkennen dieser definierten Spezies hergerichtet ist.
Beispiele für solche definierten Spezies sind: Apfelwickler, Blattlaus, Fransenflügler, Fruchtschalenwickler, Kartoffelkäfer, Kirschfruchtfliege, Maikäfer, Maiszünsler, Pflaumenwickler, Rhododendron-Zikade, Saateule, Schildlaus, Schwammspinner, Spinnmilbe, Traubenwickler, Walnussfruchtfliege, Weiße Fliege, Großer Rapsstengelrüssler, Gefleckter Kohltriebrüssler, Rapsglanzkäfer, Kohlschotenrüssler, Kohlschotenmücke oder Rapserdfloh, oder um einen Forstschädling wie beispielsweise Blattlaus, Blauer Kiefernprachtkäfer, Borkenkäfer, Eichenprachtkäfer, Eichen-Prozessionsspinner, Eichenwickler, Fichtengespinstblattwespe, Gemeiner Holzwurm, Großer Brauner Rindenfresser, Kiefernbuschhornblattwespe, Kieferneule, Kiefernspanner, Kleine Fichtenblattwespe, Nonne, Rosskastanienminiermotte, Schwammspinner, Splintholzkäfer, Mücken (z.B. Asiatische Tigermücke).
Die Insektenfalle kann Mittel zum Immobilisieren von Insekten aufweisen. Die Insektenfalle kann beispielsweise eine Schale umfassen, die mit einer Flüssigkeit (z.B. Wasser oder einer wässrigen Lösung) gefüllt ist. Es ist denkbar, dass die Flüssigkeit ein Tensid umfasst, um die Oberflächenspannung zu reduzieren und/oder ein Mittel gegen Algenbildung umfasst und/oder ein Lockmittel zum Anlocken von Insekten umfasst. Insekten, die in die Flüssigkeit gelangen, können beispielsweise in der Flüssigkeit ertrinken oder von der Flüssigkeit festgehalten werden. Die Insektenfalle kann auch eine mit Leim oder einem anderen Klebemittel versehene Fläche umfassen, an der Insekten kleben bleiben. Eine Insektenfalle muss jedoch keine Mittel zum Immobilisieren von Insekten aufweisen; es kann für die vorgesehene Verwendung der Insektenfalle ausreichend sein, dass Insekten in den Sammelbereich gelangen und sich hier für eine Zeit aufhalten.
Die Insektenfalle kann Mittel zum Anlocken von Insekten umfassen. Einige Insekten (z.B. Rapsschädlinge wie der Große Rapsstängelrüssler) werden z.B. durch eine gelbe Farbe angelockt. Einige Insekten (z.B. Männchen von Lebensmittelmotten) können durch ein Pheromon angelockt werden. Auch die Verwendung von Nahrung für die Insekten zum Anlocken ist möglich. Manche Insekten werden durch elektromagnetische Strahlung eines definierten Wellenlängenbereichs angelockt. Die Insektenfalle kann mit einer Quelle für elektromagnetische Strahlung ausgestattet sein, die elektromagnetische Strahlung eines definierten Wellenlängenbereichs (oder mehrerer Wellenlängenbereiche) emittiert. Die Insektenfalle muss jedoch keine Lockmittel aufweisen; es kann für die vorgesehene Verwendung der Insektenfalle ausreichend sein, dass sich Insekten zufällig in die Falle verirren oder in Kontakt mit dieser kommen.
Die Insektenfalle umfasst einen Sammelbereich. Der Sammelbereich ist ein Bereich, der von Insekten (oder anderen Gliederfüßern) aufgesucht werden kann. Es kann sich dabei um eine ebene Oberfläche einer Tafel oder Karte oder dergleichen handeln. Es kann sich auch um den Boden eines Behälters handeln. Es ist möglich, dass die Insektenfalle mehrere Sammelbereiche umfasst. Es ist auch denkbar, dass die Insektenfalle über verschiedene Sammelbereiche verfügt, zum Beispiel über einen Sammelbereich für (spezifische) Schädlinge und einen anderen Sammelbereich für (spezifische) Nützlinge.
Der Sammelbereich umfasst vorzugsweise eine ebene glatte oder strukturierte Fläche mit einem runden, ovalen, elliptischen, eckigen (dreieckig, viereckig, fünfeckig, sechseckig oder allgemein n-eckig, mit n als ganzer Zahl, die größer oder gleich drei ist) Querschnitt. Vorzugsweise ist der Querschnitt rund oder rechteckig (insbesondere quadratisch) ausgeführt. Von der Fläche können sich Wandungen nach oben erstrecken, so dass sich ein Behälter ergibt. Der Behälter kann z.B. zylinderförmig, konusförmig oder kastenförmig ausgeführt sein. Vorzugsweise weist er einen runden oder eckigen Querschnitt auf und die Wandungen erstrecken sich vom Boden konusförmig nach oben, wobei Bodenfläche und Wandfläche vorzugsweise in einem Winkel von mehr als 90° und weniger als 120° zueinander verlaufen. Bei einem eckigen Querschnitt können die Ecken abgerundet sein.
Der Boden des Behälters kann Markierungen und/oder eine Struktur aufweisen, die eine automatisierte Fokussierung der Kamera erlauben und/oder die eine Referenz darstellen, um beispielsweise die Größe eines Insekts bestimmen zu können.
Der Boden des Behälters kann Vertiefungen aufweisen, so wie beispielsweise in WO2022243150A1 beschrieben, um eine Vereinzelung von Insekten in dem Sammelbereich zu erreichen. Eine Vereinzelung erleichtert das automatisierte Detektieren, Zählen und/oder Identifizieren von Insekten im Sammelbereich.
Der Sammelbereich kann Teil einer Fangvorrichtung für Schädlinge sein, wie beispielsweise einer Gelbfangschale oder einer optional beleimten Farbtafel.
Vorzugsweise handelt es sich bei der Insektenfalle um eine Falle wie sie in W02020058175A1, WQ2020058170A1, WO2021213824A1 oder WO2022243150A1 beschrieben ist.
Die Insektenfalle ist eine kameraüberwachte Insektenfalle. Das bedeutet, dass eine Kamera so angeordnet und ausgerichtet ist, dass sie Bildaufnahmen von einem Sammelbereich der Insektenfalle erzeugen kann.
Unter einer Kamera wird eine Vorrichtung verstanden, die Bildaufnahmen in digitaler Form erzeugen und diese speichern und/oder über eine Schnittstelle bereitstellen kann. Eine Kamera umfasst üblicherweise einen Bildsensor und optische Elemente. Der Bildsensor ist eine Vorrichtung zur Aufnahme von zweidimensionalen Abbildern aus Licht auf elektrischem Weg. Üblicherweise handelt es sich um halbleiterbasierte Bildsensoren wie beispielsweise CCD- (CCD = charge-coupled device) oder CMOS-Sensoren (CMOS = complementary metal-oxide-semiconductor). Die optischen Elemente (Linsen, Blenden und dergleichen) dienen einer möglichst scharfen Abbildung des Objektes, von dem eine digitale Bildaufnahme erzeugt werden soll, auf dem Bildsensor.
Die Kamera kann zum Beispiel ein Bestandteil eines Smartphones oder Tabletcomputers sein.
Die Kamera wird dazu verwendet, digitale Bildaufnahmen von dem Sammelbereich oder eines Teils davon zu erzeugen. Die erzeugten Bildaufnahmen können verwendet werden, (i) um zu erkennen, ob sich ein oder mehrere Insekten in dem Sammelbereich befinden (Detektieren von Insekten), (ii) Insekten in dem Sammelbereich zu zählen und/oder (iii) Insekten zu identifizieren, d.h. festzustellen, um welches Insekt (Unterklasse, Überordnung, Ordnung, Unterordnung, Familie, Gattung, Art, Stadium und/oder Geschlecht) es sich handelt.
Zur Abbildung des Sammelbereichs auf einem oder mehreren Bildsensoren ist eine Lichtquelle erforderlich, mit der der Sammelbereich beleuchtet wird, so dass Licht (elektromagnetische Strahlung im infraroten, sichtbaren und/oder ultravioletten Bereich des Spektrums) vom beleuchteten Sammelbereich in Richtung Kamera gestreut/reflektiert wird. Hierzu kann das Tageslicht verwendet werden. Es ist aber auch denkbar, eine Beleuchtungseinheit zu verwenden, die für eine definierte, vom Tageslicht unabhängige Beleuchtung sorgt. Diese ist vorzugsweise seitlich neben der Kamera angebracht, so dass es zu keinem Schattenwurf der Kamera auf den Sammelbereich kommt.
Es ist auch denkbar, eine Beleuchtungsquelle unterhalb des Sammelbereichs und/oder neben dem Sammelbereich zu positionieren, die den Sammelbereich "von unten" und/oder "von der Seite" beleuchtet, während eine Kamera eine oder mehrere Bildaufnahmen "von oben" erzeugt.
Es denkbar, dass mehrere Beleuchtungsquellen den Sammelbereich aus unterschiedlichen Richtungen beleuchten.
Der Begriff "Licht" und "Beleuchtung" soll im Übrigen nicht bedeuten, dass der Spektralbereich auf sichtbares Licht (etwa 380 nm bis etwa 780 nm) beschränkt ist. Es ist ebenso denkbar, dass zur Beleuchtung elektromagnetische Strahlung mit einer Wellenlänge unterhalb von 380 nm (ultraviolettes Licht: 100 nm bis 380 nm) oder oberhalb von 780 nm (infrarotes Licht: 780 nm bis 1000 pm) verwendet wird. Der Bildsensor und die optischen Elemente sind üblicherweise an die verwendete elektromagnetische Strahlung angepasst.
Die kameraüberwachte Insektenfalle umfasst eine Steuereinheit. Die Steuereinheit kann ein Bestandteil der Kamera sein oder eine separate Vorrichtung sein. Die Steuereinheit ist konfiguriert, die Kamera zu veranlassen, eine oder mehrere Bildaufnahmen von einem Sammelbereich oder einem Teil davon zu erzeugen. Die Steuereinheit kann ein Computersystem sein, wie es weiter hinten in der Beschreibung beschrieben ist. Die Kamera kann ein Bestandteil eines solchen Computersystems sein.
Bei der einen oder mehreren Bildaufnahme kann es sich um einzelne Bildaufnahmen oder um Sequenzen von Bildaufnahmen (z.B. Videoaufnahmen) handeln.
Die Steuereinheit kann konfiguriert sein, die Kamera zu veranlassen, Bildaufnahmen zu definierten Zeitpunkten (z.B. einmal am Tag um 12 Uhr mittags) und/oder wiederkehrend in definierten Zeitspannen (z.B. jede Stunde zwischen 7 Uhr morgens und 20 Uhr abends) und/oder bei Eintritt eines definierten Ereignisses (z.B. nach Sonnenaufgang bei Erreichen einer definierten Helligkeit oder in Folge der Detektion eines Insekts mit Hilfe eines Sensors) und/oder infolge eines Befehls durch einen Nutzer zu erzeugen. Die Steuereinheit kann Bestandteil der Kamera sein oder eine von der Kamera unabhängige Vorrichtung, die mit der Kamera über eine kabelgebundene oder kabellose Verbindung (z.B. Bluetooth) kommunizieren kann.
Die Insektenfalle umfasst ferner eine Sendeeinheit. Über die Sendeeinheit können Bildaufnahmen und/oder Informationen an ein separates Computersystem übermittelt werden. Die Übermittlung erfolgt vorzugsweise über ein Funknetz, beispielsweise über ein Mobilfunknetz. Die Sendeeinheit kann ein Bestandteil der Steuereinheit sein oder eine von der Steuereinheit unabhängige Einheit sein.
Die Insektenfalle kann eine Empfangseinheit umfassen, um Befehle von einem separaten Computersystem zu empfangen.
Die Sendeeinheit und/oder die Empfangseinheit können Bestandteile eines Computersystems sein, wie es weiter hinten in der Beschreibung beschrieben ist.
Die von der Kamera erzeugten Bildaufnahmen werden üblicherweise automatisiert analysiert, um die in dem Sammelbereich oder einem Teil davon befindlichen Insekten zu detektieren, zu zählen und/oder zu identifizieren. Diese Analyse kann durch eine Analyseneinheit erfolgen, die Bestandteil der Insektenfalle sein kann; diese Analyse kann aber auch durch eine Analyseneinheit erfolgen, die Bestandteil eines separaten Computersystems sein kann, an das die Bildaufnahmen mittels der Sendeeinheit der Insektenfalle übermittelt werden. Die Analyseneinheit kann ein Bestandteil eines Computersystems sein, wie es weiter hinten in der Beschreibung beschrieben ist. Die Analyseneinheit kann ein trainiertes Modell des maschinellen Lernens umfassen, das konfiguriert und trainiert ist, in Bildaufnahmen abgebildete Insekten zu detektieren, zu zählen und/oder zu identifizieren. Details zum automatisierten Detektieren, Zählen und/oder Identifizieren von Insekten in Bildaufnahmen sind in Veröffentlichungen zu diesem Thema beschrieben (siehe z.B.: D. C. K. Amarathunga et al. : Methods of Insect Image Capture and Classification: A Systematic Literature Review, Smart Agricultural Technology, Volume 1, 2021, 100023; C. Zhu et al.'. Insect Identification and Counting in Stored Grain: Image Processing Approach and Application Embedded in Smartphones, Mob. Inf. Syst. 2018, 5491706:1-5, W02020058175A1, W02020058170A1).
Die von der Kamera erzeugten Bildaufnahmen können ferner verwendet werden, um eine Funktionsbeeinträchtigung bei der kameraüberwachten Insektenfalle zu erkennen.
Eine Funktionsbeeinträchtigung kennzeichnet einen Zustand der Insektenfalle, der eine oder mehrere Bestandteile der Insektenfalle oder die Insektenfalle als Ganzes so beeinflusst, dass eine oder mehrere Funktionen nicht mehr oder nicht mehr ausreichend oder nicht mehr optimal ausgeführt werden. Eine Funktion kann beispielsweise dann nicht mehr ausreichend oder nicht mehr optimal ausgeführt werden, wenn die Beeinträchtigung die Funktion verlangsamt oder erschwert oder das Ergebnis minderwertig ist oder das Ergebnis fehlerhaft ist.
Funktionen, die von der Insektenfalle üblicherweise zu erfüllen sind, sind das Anlocken von Insekten und/oder das Immobilisieren von Insekten und/oder das Vereinzeln von Insekten in dem Sammelbereich und/oder das Ausleuchten des Sammelbereichs mit einer oder mehreren Eichtquellen und/oder das Erzeugen von Bildaufnahmen von dem Sammelbereich und/oder das Versenden von Bildaufnahmen und/oder anderen/weiteren Informationen an ein separates Computersystem und/oder andere/weitere Funktionen.
Eine Funktionsbeeinträchtigung kann dabei eine Beeinträchtigung sein, die aktuell zu einer Beeinflussung der Funktion führt oder in naher Zukunft zu einer Beeinflussung der Funktion führen wird, wenn keine Maßnahmen zur Aufrechterhaltung der Funktionen getroffen werden.
Nachfolgend sind Beispiele für Funktionsbeeinträchtigungen aufgeführt:
Flüssigkeitsniveau ist unter einen unteren Schwellenwert gesunken: Ist der Sammelbereich der Insektenfalle als Behälter ausgeführt, kann eine Flüssigkeit (z.B. Wasser oder eine wässrige Eösung) in dem Behälter dazu verwendet werden, Insekten zu immobilisieren. Sinkt die Menge an Flüssigkeit in dem Behälter unter einen Schwellenwert, kann es sein, dass Insekten nicht mehr immobilisiert werden. Dies stellt eine Funktionsbeeinträchtigung dar.
Es ist auch möglich, dass Insekten nur teilweise von Flüssigkeit überdeckt werden und die teilweise Überdeckung der Insekten mit Flüssigkeit ein automatisiertes Detektieren, Zählen und/oder Identifizieren erschwert. Zum Beispiel können die Konturen von Insekten aufgrund der teilweisen Überdeckung in einer Bildaufnahme nicht klar erkennbar sein und/oder an den Übergangsstellen zwischen Flüssigkeit und Insekt unerwünschte Reflexionen auftreten.
Es kann auch sein, dass die Flüssigkeit vollkommen verdunstet, d.h. der Sammelbereich ausgetrocknet ist.
Es ist auch möglich, dass die Insektenfalle mit einem Vorratsbehälter versehen ist, aus dem automatisch Flüssigkeit in den Sammelbereich nachläuft, wenn das Flüssigkeitsniveau in dem Sammelbereich unter einen definierten Schwellenwert gesunken ist (wie beispielsweise in WO2021213824A1 beschrieben). Es ist möglich, dass in einer Bildaufnahme die Menge der noch in dem Vorratsbehälter enthaltenen Flüssigkeit gezeigt ist. Ist die Menge der in dem Vorratsbehälter enthaltenen Flüssigkeit unterhalb einer definierten Restmenge gesunken, ist es möglich, dass in naher Zukunft keine Flüssigkeit mehr aus dem Vorratsbehälter in den Sammelbereich fließen kann; eine Funktionsbeeinträchtigung kündigt sich an. Flüssigkeitsniveau ist über einen oberen Schwellenwert gestiegen: Es ist möglich, dass beispielsweise infolge von Regenwasser das Flüssigkeitsniveau in dem Sammelbereich über einen oberen Schwellenwert gestiegen ist. Es ist möglich, dass Flüssigkeit unkontrolliert über eine Wandung des Behälters, der den Sammelbereich bildet, abfließt und dabei auf der Flüssigkeit schwimmende Insekten aus dem Sammelbereich entfernt werden.
Sammelbereich ist verschmutzt: Es ist möglich, dass sich in dem Sammelbereich Verunreinigungen angesammelt haben, die ein Detektieren, Zählen und/oder Identifizieren von Insekten erschweren. Verunreinigungen können Insekten ganz oder teilweise verdecken oder mit ihnen verklumpen (Agglomerate bilden). Verschmutzungen können Blätter und/oder andere Pflanzenteile, Staub, Ausscheidungen von Insekten und/oder anderen Tieren und/oder dergleichen sein.
Sammelbereich ist ausgeschöpft: Es ist möglich, dass sich in dem Sammelbereich bereits eine Vielzahl an Insekten gesammelt hat, die sich ganz oder teilweise überlagern und/oder zu Ansammlungen aggregieren. Dadurch kann das automatisierte Detektieren, Zählen und/oder Identifizieren der Insekten beeinträchtigt werden.
Algenbildung im Sammelbereich: Es ist möglich, dass sich in einer Flüssigkeit im Sammelbereich Algen bilden. Die Algen können das automatisierte Detektieren, Zählen und/oder Identifizieren von Insekten im Sammelbereich erschweren.
Schaum im Sammelbereich: Bei einer mit Flüssigkeit gefüllten Fangschale kann sich im kaufe der Zeit Schaum auf der Flüssigkeit bilden. Dieser Schaum kann die Sicht auf Insekten im Sammelbereich ganz oder teilweise versperren. Zudem ist es möglich, dass Insekten nicht mehr durch die Flüssigkeit immobilisiert werden.
Eisbildung oder Vereisung: Bei einer mit Flüssigkeit gefüllten Fangschale kann bei niedrigen Temperaturen die Flüssigkeit gefrieren. Dadurch ist es möglich, dass Insekten nicht mehr durch die Flüssigkeit immobilisiert werden.
Einschränkungen des Sichtfeldes: Es ist möglich, dass Spinnen weben in der Insektenfalle bewirken, dass die Kamera keine freie Sicht mehr auf den Sammelbereich hat. Neben den Spinnenweben können auch Spinnen, die sich vor einer Linse der Kamera aufhalten, ein Problem darstellen. Ferner können auch Konstrukte von Insekten (z.B. Puppen von Larven) und/oder Pflanzenteile (z.B. Zweige, Blätter, Wurzeln) in der Insektenfalle den Sammelbereich aus Sicht der Kamera ganz oder teilweise verdecken.
Kamera und/oder optische Elemente sind verschmutzt: Ablagerungen auf einer Linse der Kamera können zu einer Beeinträchtigung führen. Es ist möglich, dass infolge einer Ablagerung das Sichtfeld der Kamera eingeschränkt ist und nicht mehr der komplette ursprüngliche Sammelbereich abgebildet wird. Es ist denkbar, dass Ablagerungen zu unscharfen oder teilweise unscharfen Bildaufnahmen führen. Es ist möglich, dass Wasser (z.B. Regenwasser) und/oder eine andere Flüssigkeit (z.B. eine Flüssigkeit aus dem Sammelbereich) auf eine Linse gelangt und das Sichtfeld einschränkt und/oder zu Unschärfen in der Bildaufnahme führt.
Beleuchtungsquelle(n) defekt und/oder verschmutzt: Ist die Insektenfalle mit einer oder mehreren Beleuchtungsquellen ausgestattet, kann es sein, dass eine oder mehrere dieser Beleuchtungsquellen keine oder weniger elektromagnetische Strahlung aussendet und/oder, dass infolge einer Verunreinigung der einen oder der mehreren Beleuchtungsquellen nicht mehr genügend elektromagnetische Strahlung in den Sammelbereich gelangt und diesen ausleuchtet. Die fehlende oder verringerte Beleuchtung kann zu einem Kontrastverlust und/oder erhöhtem Rauschen in den Bildaufnahmen führen, was wiederum das automatisierte Detektieren, Zählen und/oder Identifizieren von Insekten erschweren kann.
Unerwünschte Reflexe: Es ist möglich, dass zu bestimmten Zeiten Reflexe in den Bildaufnahmen zu beobachten sind, die z.B. von Sonnenlicht stammen können, das unter einem definierten Winkelbereich in den Sammelbereich gelangt. Es ist möglich, dass Sonnenlicht zu bestimmten Tages- und/oder Jahreszeiten in den Sammelbereich gelangt und dort unerwünschte Reflexionen verursacht. Es ist möglich, dass solche unerwünschten Reflexionen durch Sonnenlicht beim Aufstellen der Insektenfalle nicht beobachtet wurden und/oder erst später in Erscheinung traten. Es ist möglich, dass die Insektenfalle durch Wind und/oder durch ein Tier und/oder Niederschlag aus ihrer ursprünglichen Position und/oder Lage in eine andere Position und/oder Lage gebracht wurde, bei der die Reflexionen auftreten.
Positions-/ und/oder Lageänderung von Bestandteilen der Insektenfalle und/oder der Insektenfalle als Ganzes: Es ist denkbar, dass es im Lauf der Zeit zu einer Änderung der Position und/oder Lage und/oder Ausrichtung von Bestandteilen der Insektenfalle und/oder der Insektenfalle als Ganzes kommt. Solche Änderungen können die Folge von Witterungseinflüssen (z.B. Niederschlag, Wind, Sonneinstrahlung), von Interaktionen mit Tieren und/oder Menschen und/oder von Erschütterungen der Erde (z.B. Erdbeben, umstürzender Baum, vorbefahrende Fahrzeuge) sein.
Ist eine mit einer Flüssigkeit gefüllte Insektenfalle ursprünglich so aufgestellt worden, dass der ebene Boden des Behälters, in dem sich die Flüssigkeit befindet, horizontal, d.h. senkrecht zur Richtung der Schwerkraft ausgerichtet ist, damit die Oberfläche der Flüssigkeit an allen Punkten den gleichen Abstand zum Boden des Behälters hat, ist es möglich, dass die Ausrichtung sich geändert hat und die Flüssigkeitsoberfläche nicht mehr an allen Punkten den gleichen Abstand zum Boden hat. Dadurch kann es zu Verzerrungen in den Bildaufnahmen kommen.
Es ist auch möglich, dass die Insekten sich an einer oder an mehreren Stellen des Sammelbehälters ansammeln.
Ferner ist es möglich, dass sich die Ausrichtung der Kamera und/oder von optischen Elementen der Kamera gegenüber dem Sammelbereich geändert hat und der Sammelbereich nicht mehr oder nicht mehr vollständig abgebildet wird und/oder ganz oder teilweise unscharf abgebildet wird.
Kamera ist defekt: Es ist möglich, dass die Kamera einen Defekt aufweist und die erzeugten Bildaufnahmen für ein automatisiertes Detektieren, Zählen und/oder Identifizieren von Insekten in dem Sammelbereich nicht geeignet sind. Es ist zum Beispiel möglich, dass die erzeugten Bildaufnahmen verrauscht sind und/oder einen Farbstich aufweisen und/oder einen geringen Kontrastumfang aufweisen und/oder komplett schwarz oder weiß sind.
Kamera erzeugt keine Aufnahmen vom Sammelbereich: Es ist möglich, dass die Kamera Bildaufnahmen während einer Wartung der Insektenfalle und/oder beim Zusammenbau der Insektenfalle erzeugt, die nicht den Sammelbereich der Insektenfalle zeigen, sondern beispielsweise andere Bestandteile der Insektenfalle und/oder die Umgebung der Insektenfalle. Solche Aufnahmen können für ein automatisiertes Detektieren, Zählen und/oder Identifizieren von Insekten in dem Sammelbereich der Insektenfalle ungeeignet sein. Auch solche Bildaufnahmen können mit den in dieser Beschreibung beschriebenen Mitteln identifiziert und beispielsweise aussortiert werden. Aussortieren kann bedeuten, dass eine aussortierte Bildaufnahme nicht automatisiert analysiert wird, um Insekten in dem Sammelbereich zu detektieren, zu zählen und/oder zu identifizieren.
Die Funktionsbeeinträchtigungen und/oder ihre Auswirkungen werden in Bildaufnahmen, die von der Kamera in der kameraüberwachten Insektenfalle erzeugt werden, bildhaft festgehalten. Die Bildaufnahmen werden verwendet, um ein Modell des maschinellen Lernens zu trainieren, solche Funktionsbeeinträchtigungen automatisch zu erkennen. Der Begriff „automatisch“ bedeutet ohne Zutun eines Menschen.
Ein solches „Modell des maschinellen Lernens“ kann als eine computerimplementierte Datenverarbeitungsarchitektur verstanden werden. Das Modell kann Eingabedaten empfangen und Ausgabedaten auf der Grundlage dieser Eingabedaten und Modellparametern liefern. Das Modell kann durch Training eine Beziehung zwischen den Eingabedaten und den Ausgabedaten erlernen. Beim Training können Modellparameter angepasst werden, um eine gewünschte Ausgabe für eine bestimmte Eingabe zu liefern.
Beim Trainieren eines solchen Modells werden dem Modell Trainingsdaten präsentiert, aus denen es lernen kann. Das trainierte Modell des maschinellen Lernens ist das Ergebnis des Trainingsprozesses. Die Trainingsdaten umfassen neben Eingabedaten die korrekten Ausgabedaten (Zieldaten), die das Modell auf Basis der Eingabedaten erzeugen soll. Beim Trainieren werden Muster erkannt, die die Eingabedaten auf die Zieldaten abbilden.
Im Trainingsprozess werden die Eingabedaten der Trainingsdaten in das Modell eingegeben, und das Modell erzeugt Ausgabedaten. Die Ausgabedaten werden mit den Zieldaten verglichen. Modellparameter werden so verändert, dass die Abweichungen zwischen den Ausgabedaten und den Zieldaten auf ein (definiertes) Minimum reduziert werden. Zur Modifizierung der Modellparameter im Hinblick auf eine Reduzierung der Abweichungen kann ein Optimierungsverfahren wie beispielsweise ein Gradientenverfahren verwendet werden.
Die Abweichungen können mit Hilfe einer Fehlerfunktion (engl.: loss function) quantifiziert werden. Eine solche Fehlerfunktion kann verwendet werden, um einen Fehler (engl.: loss) für ein gegebenes Paar von Ausgabedaten und Zieldaten zu berechnen. Das Ziel des Trainingsprozesses kann darin bestehen, die Parameter des Modells des maschinellen Lernens so zu verändern (anzupassen), dass der Fehler für alle Paare des Trainingsdatensatzes auf ein (definiertes) Minimum reduziert wird.
Handelt es sich bei den Ausgabedaten und den Zieldaten beispielsweise um Zahlen, kann die Fehlerfunktion die absolute Differenz zwischen diesen Zahlen sein. In diesem Fall kann ein hoher absoluter Fehler bedeuten, dass ein oder mehrere Modellparameter in hohem Maße geändert werden müssen.
Bei Ausgabedaten in Form von Vektoren können beispielsweise Differenzmetriken zwischen Vektoren wie der mittlere quadratische Fehler, ein Kosinusabstand, eine Norm des Differenzvektors wie ein euklidischer Abstand, ein Tschebyscheff- Abstand, eine Lp-Norm eines Differenz vektors, eine gewichtete Norm oder eine andere Art von Differenzmetrik zweier Vektoren als Fehlerfunktion gewählt werden.
Bei höherdimensionalen Ausgaben, wie z.B. zweidimensionalen, dreidimensionalen oder höherdimensionalen Ausgaben, kann z.B. eine elementweise Differenzmetrik verwendet werden. Alternativ oder zusätzlich können die Ausgabedaten vor der Berechnung eines Fehlerwertes transformiert werden, z.B. in einen eindimensionalen Vektor.
Im vorliegenden Fall erhält das Modell des maschinellen Lernens eine oder mehrere Bildaufnahmen als Eingabedaten. Das Modell kann trainiert werden, für die eine oder die mehreren Bildaufnahmen eine Information auszugeben, ob es sich bei der einen oder den mehreren Bildaufnahmen um eine oder mehrere Bildaufnahmen einer Insektenfalle mit einer Funktionsstörung oder um eine oder mehrere Bildaufnahmen einer Insektenfalle ohne eine Funktionsstörung handelt. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden, Bildaufnahmen von Insektenfallen mit Funktionsstörung/Funktionsstörungen von Bildaufnahmen von Insektenfallen ohne Funktionsstörung/ Funktionsstörungen zu unterscheiden.
Das Modell des maschinellen Lernens kann trainiert werden, die eine oder die mehreren Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei mindestens eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigungen aufweisen und mindestens eine zweite Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen.
Das Trainieren des Modells des maschinellen Lernens erfolgt auf Basis von Trainingsdaten. Die Trainingsdaten umfassen eine Vielzahl von Bildaufnahmen einer oder mehrerer Insektenfallen. Der Begriff „Vielzahl“ bedeutet mehr als 10, vorzugsweise mehr als 100. Die Bildaufnahmen fungieren als Eingabedaten. Ein Teil der Bildaufnahmen kann die eine oder die mehreren Insektenfallen ohne Funktionsbeeinträchtigungen zeigen, d.h. in einem Zustand, in dem sie einwandfrei funktionieren. Ein anderer Teil der Bildaufnahmen kann die eine oder die mehreren Insektenfallen mit einer Funktionsbeeinträchtigung zeigen. Die Trainingsdaten können neben den Eingabedaten auch Zieldaten umfassen. Die Zieldaten können für jede Bildaufnahme angeben, ob die Insektenfalle, die in der Bildaufnahme abgebildet ist, eine Funktionsbeeinträchtigung aufweist, oder ob sie keine Funktionsbeeinträchtigung aufweist. Die Zieldaten können auch Informationen darüber umfassen, welche Funktionsbeeinträchtigung im Einzelfall vorliegt und/oder wie schwerwiegend sie ist und/oder welchen Schweregrad sie aufweist.
Das Modell des maschinellen Eernens kann trainiert werden, jede Bildaufnahme genau einer von zwei Klassen zuzuordnen, wobei genau eine Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigungen aufweisen und die andere Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung oder mehrere Funktionsbeeinträchtigungen aufweisen. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden ein binäre Klassierung vorzunehmen. Für solch einen Fall ist es ausreichend, dass für jede der einzelnen Bildaufnahmen der Trainingsdaten eine Information vorliegt, ob die Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt oder ob die Bildaufnahme eine Insektenfalle ohne Funktionsbeeinträchtigung zeigt. In einem solchen Fall kann das Modell des maschinellen Lernens trainiert werden, Insektenfallen mit einer (oder mehreren) Funktionsbeeinträchtigungen zu erkennen, unabhängig davon, um welche Funktionsbeeinträchtigung(en) es sich jeweils handelt. Es ist auch möglich, ein Modell des maschinellen Lernens zu trainieren, für jede Bildaufnahme, die in das Modell des maschinellen Lernens eingegeben wird, eine Merkmalsextraktion vorzunehmen und eine komprimierte Repräsentation der Bildaufnahme zu erzeugen. Dabei kann das Modell des maschinellen Lernens trainiert werden, für Bildaufnahmen, die keine Insektenfalle mit einer Funktionsbeeinträchtigung zeigen, ähnliche komprimierte Repräsentationen zu erzeugen. Wird dem trainierten Modell des maschinellen Lernens eine Bildaufnahme einer Insektenfalle mit einer Funktionsbeeinträchtigung zugeführt, so erzeugt das trainierte Modell des maschinellen Lernens eine komprimierte Repräsentation der Bildaufnahme der Insektenfalle mit der Funktionsbeeinträchtigung, die von den komprimierten Repräsentationen der Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung unterschieden werden kann. Ein solches Training, bei dem das Modell des maschinellen Lernens lediglich trainiert wird zu erkennen, ob eine Funktionsbeeinträchtigung oder keine Funktionsbeeinträchtigung vorliegt, kann sinnvoll sein, wenn ein Nutzer lediglich daran interessiert ist zu erfahren, ob die Insektenfalle einwandfrei funktioniert oder ob ein Eingreifen erforderlich ist, um eine Funktionsbeeinträchtigung (welche es auch immer ist) zu beseitigen.
Das Modell des maschinellen Lernens kann auch trainiert werden, eine spezifische Funktionsbeeinträchtigung zu erkennen. Bei der spezifischen Funktionsbeeinträchtigung kann es sich um eine der Funktionsbeeinträchtigungen handeln, die weiter vorne in dieser Beschreibung beschrieben wurden. Es ist möglich, dass ein Nutzer nur daran interessiert ist zu erfahren, ob die spezifische Funktionsbeeinträchtigung vorliegt (z.B. das Flüssigkeitsniveau ist zu niedrig). Das Modell des maschinellen Lernens kann trainiert werden, jede Bildaufnahme einer von zwei Klassen zuzuordnen, wobei eine Klasse Bildaufnahmen von Insektenfallen repräsentiert, die die spezifische Funktionsbeeinträchtigung aufweisen und die andere Klasse Bildaufnahmen von Insektenfallen repräsentiert, die die spezifische Funktionsbeeinträchtigung nicht aufweisen, bei denen also entweder gar keine Funktionsbeeinträchtigung vorliegt oder eine andere als die spezifische Funktionsbeeinträchtigung vorliegt. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob die spezifische Funktionsbeeinträchtigung bei der abgebildeten Insektenfalle vorliegt oder nicht vorliegt.
Das Modell des maschinellen Lernens kann aber auch trainiert werden, jede Bildaufnahme einer von mehr als zwei Klassen zuzuordnen, wobei die Klassen beispielsweise die Schwere der spezifischen Funktionsbeeinträchtigung repräsentieren. Eine erste Klasse kann beispielsweise Bildaufnahmen von Insektenfallen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung nicht auftritt (z.B. keine Verschmutzung); eine zweite Klasse kann Bildaufnahmen von Insektenfallen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung leicht auftritt (z.B. eine leichte Verschmutzung); eine dritte Klasse kann Bildaufnahmen von Insektenfallen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung deutlich auftritt (z.B. eine deutliche Verschmutzung). Eine leichte Funktionsbeeinträchtigung kann bedeuten, dass die Insektenfalle noch ausreichend funktionsfähig ist, dass aber in der Zukunft eine Wartung nötig ist, um eine weitere Funktionsbeeinträchtigung zu vermeiden. Eine deutliche oder schwerwiegende Funktionsbeeinträchtigung kann bedeuten, dass eine umgehende Wartung erforderlich ist. Es sind auch mehr als die genannten drei Abstufungen denkbar, z.B. vier (z.B. keine Beeinträchtigung, leicht Beeinträchtigung, mittlere Beeinträchtigung, schwere Beeinträchtigung) oder mehr und/oder andere Abstufungen. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob die Funktionsbeeinträchtigung bei der abgebildeten Insektenfalle vorliegt, und wenn sie vorliegt, wie schwerwiegend sie ist und/oder mit welcher Schwere sie auftritt.
Das Modell des maschinellen Eernens kann aber auch trainiert werden, mehr als eine spezifische Funktionsbeeinträchtigung zu erkennen, d.h. verschiedene Funktionsbeeinträchtigungen voneinander zu unterscheiden. Das Modell des maschinellen Lernens kann beispielsweise trainiert werden, eine Anzahl n von spezifischen Funktionsbeeinträchtigungen zu lernen, wobei n eine ganze Zahl größer als 1 ist. Das Modell des maschinellen Lernens kann trainiert werden, jede Bildaufnahme einer von mindestens n+1 Klassen zuzuordnen, wobei eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und jede der mindesten n verbleibenden Klassen Bildaufnahmen von Insektenfallen repräsentieren, die eine der n spezifischen Funktionsbeeinträchtigungen zeigen. Es ist auch möglich, dass das Modell des maschinellen Lernens zusätzlich trainiert wird, zwei oder mehr Schweregrade von einer oder mehreren der n spezifischen Funktionsbeeinträchtigungen zu erkennen. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden, für eine oder mehrere der n spezifischen Funktionsbeeinträchtigungen zu erkennen, wie schwerwiegend sie ist und/oder mit welchem Schweregrad sie auftritt. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob eine Funktionsbeeinträchtigung vorliegt, wenn eine Funktionsbeeinträchtigung vorliegt, welche spezifische Funktionsbeeinträchtigung vorliegt, und für ein oder mehrere der spezifischen Funktionsbeeinträchtigungen, wie schwerwiegend sie ist und/oder mit welcher Schwere sie auftritt.
Für die Erzeugung der in dieser Beschreibung beschriebenen Trainingsdaten können bestehende kameraüberwachte Insektenfallen verwendet werden. Es können kameraüberwachte Insektenfallen für einen Zeitraum betrieben werden. Die von den kameraüberwachten Insektenfallen erzeugten Bildaufnahmen können von einem oder mehreren Experten analysiert werden. Der eine oder die mehrere Experten können jede Bildaufnahme mit einem der für das Training erforderlichen Informationen (Annotationen) versehen, die dann als Zieldaten verwendet werden. Der eine oder die mehreren Experten können die Bildaufnahmen sichten und jede Bildaufnahme mit einer Information versehen, ob die jeweilige Bildaufnahme eine Insektenfalle ohne Funktionsbeeinträchtigung oder mit einer Funktionsbeeinträchtigung zeigt. Wenn es für das Training des Modells des maschinellen Lernens erforderlich ist, kann jede Bildaufnahme, die eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, mit einer Information versehen werden, wie schwerwiegend die Funktionsbeeinträchtigung ist und/oder mit welcher Schwere sie auftritt. Wenn es für das Training des Modells des maschinellen Lernens erforderlich ist, kann jede Bildaufnahme, die eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, mit einer Information versehen werden, welche spezifische Funktionsbeeinträchtigung jeweils vorliegt.
Beim Trainieren des Modells des maschinellen Lernens werden die Bildaufnahmen (nacheinander) dem Modell des maschinellen Lernens zugeführt. Das Modell des maschinellen Lernens kann konfiguriert sein, jede Bildaufnahme einer von mindestens zwei Klassen zuzuordnen. Die Klassenzuordnung kann von dem Modell des maschinellen Lernens z.B. in Form einer Zahl ausgegeben werden. So kann beispielsweise die Zahl 0 Bildaufnahmen von Insektenfallen repräsentieren, die keine Funktionsbeeinträchtigung zeigen; die Zahl 1 kann Bildaufnahmen von Insektenfallen repräsentieren, die eine erste spezifische Funktionsbeeinträchtigung aufweisen; die Zahl 2 kann Bildaufnahmen von Insektenfallen repräsentieren, die eine zweite spezifische Funktionsbeeinträchtigung aufweisen, usw.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für jede Bildaufnahme einen Vektor auszugeben, wobei der Vektor für jede Funktionsbeeinträchtigung an einer Koordinate des Vektors eine Zahl umfasst, die angibt, ob die jeweilige Funktionsbeeinträchtigung in der Bildaufnahme gezeigt ist (also bei der abgebildeten Insektenfalle vorhanden ist) oder nicht gezeigt ist (d.h. bei der abgebildeten Insektenfalle nicht vorhanden ist). Ein solches Vorgehen hat den Vorteil, dass verschiedene Funktionsbeeinträchtigungen, die bei einer Insektenfalle gleichzeitig vorliegen, auch nebeneinander erkannt werden. In einem solchen Vektor kann die Zahl 0 angeben, dass eine spezifische Funktionsbeeinträchtigung nicht vorliegt und die Zahl 1 angeben, dass die spezifische Funktionsbeeinträchtigung vorliegt. Die Stelle in dem Vektor (Koordinate), an der die jeweilige Zahl auftritt, kann Auskunft darüber ergeben, um welche spezifische Funktionsbeeinträchtigung es sich jeweils handelt.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für eine oder mehrere (spezifische) Funktionsbeeinträchtigungen eine Wahrscheinlichkeit anzugeben, mit der die (spezifische) Funktionsbeeinträchtigung bei der jeweils abgebildeten Insektenfalle auftritt. Die Wahrscheinlichkeit kann beispielsweise als ein Wert im Bereich von 0 bis 1 angegeben werden, wobei die Wahrscheinlichkeit umso größer ist, je größer der Wert ist.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für eine oder mehrere (spezifische)Funktionsbeeinträchtigungen einen Schweregrad auszugeben, mit der die (spezifische) Funktionsbeeinträchtigung bei der jeweils abgebildeten Insektenfalle auftritt.
Die von dem Modell des maschinellen Lernens auf Basis einer eingegebenen Bildaufnahme ausgegebene Ausgabe (Ausgabedaten) kann mit den Zieldaten verglichen werden. Mit Hilfe einer Fehlerfunktion können Abweichungen zwischen den Ausgabedaten und den Zieldaten quantifiziert werden. In einem Optimierungsverfahren (z.B. einem Gradientenverfahren) können die Abweichungen durch Modifizieren von Modellparametern reduziert werden. Erreichen die Abweichungen ein (vordefiniertes) Minimum oder erreichen sie ein Plateau, kann das Training beendet werden. Das trainierte Modell des maschinellen Lernens kann zur Erkennung einer oder mehrerer Funktionsbeeinträchtigungen und optional ihrer Schwere bei einer Insektenfalle verwendet werden.
Hierzu kann eine neue Bildaufnahme von einem Sammelbereich einer Insektenfalle dem Modell des maschinellen Lernens zugeführt werden. Dabei bedeutet der Begriff „neu“, dass die entsprechende Bildaufnahme nicht bereits zum Trainieren des Modells des maschinellen Lernens verwendet wurde. Das trainierte Modell des maschinellen Lernens ordnet die neue Bildaufnahme einer der mindestens zwei Klassen zu, die beim Trainieren des Modells des maschinellen Lernens verwendet wurden. Das trainierte Modell des maschinellen Lernens gibt eine Information aus, welcher Klasse das Modell des maschinellen Lernens die Bildaufnahme zugeordnet hat. Es ist möglich, dass das trainierte Modell des maschinellen Lernens eine Information ausgibt, mit welcher Wahrscheinlichkeit eine oder mehrere Funktionsbeeinträchtigungen vorliegen und/oder wie schwerwiegend sie sind und/oder mit welchem Schweregrad sie auftreten.
Die Ausgabe des Modells des maschinellen Lernens kann auf einem Bildschirm angezeigt, auf einem Drucker ausgedruckt, in einem Datenspeicher gespeichert und/oder an ein separates Computersystem übermittelt werden (z.B. über ein Netzwerk).
Die Ausgabe des Modells des maschinellen Lernens kann dazu verwendet werden, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung (oder mit mehreren Funktionsbeeinträchtigungen) automatisch auszusortieren. In einem solchen Fall wird eine Bildaufnahme einer Insektenfalle in einem ersten Schritt gemäß der vorliegenden Offenbarung auf das Vorliegen einer Funktionsbeeinträchtigung (oder mehrerer Funktionsbeeinträchtigungen) analysiert, bevor es in einem nachfolgenden zweiten Schritt analysiert wird, um Insekten in dem in der Bildaufnahme abgebildeten Sammelbereich der Insektenfalle zu detektieren, zu zählen und/oder zu identifizieren. Es ist möglich, dass nur diejenigen Bildaufnahmen, bei denen die Analyse im ersten Schritt ergeben hat, dass sie keine Funktionsbeeinträchtigung aufweisen, dem zweiten Schritt zum Detektieren, Zählen und/oder Identifizieren von Insekten zugeführt werden. Es ist auch möglich, dass nur diejenigen Bildaufnahmen, bei denen die Analyse im ersten Schritt ergeben hat, dass sie keine Funktionsbeeinträchtigung oder lediglich eine Funktionsbeeinträchtigung mit einem geringen Schweregrad der zweiten Analyse zum Detektieren, Zählen und/oder Identifizieren von Insekten zugeführt werden. Ebenso ist es möglich, dass nur Bildaufnahmen mit spezifischen Funktionsbeeinträchtigungen oder mit spezifischen Funktionsbeeinträchtigungen eines vordefinierten Schweregrades oder einer Mindestanzahl an vorliegenden verschiedenen Funktionsbeeinträchtigungen aussortiert werden. Es ist möglich, dass ein Nutzer vorab spezifizieren kann, welche Bildaufnahmen aussortiert werden sollen.
Führt das trainierte Modell des maschinellen Lernen eine Zuordnung einer Bildaufnahme zu einer Klasse durch, die Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung repräsentiert, kann gegenüber einem Nutzer eine Mitteilung ausgegeben werden. Eine solche Mitteilung kann den Nutzer darüber informieren, dass eine Funktionsbeeinträchtigung bei einer Insektenfalle vorliegt. Die Mitteilung kann den Nutzer darüber informieren, dass eine Bildaufnahme nicht analysiert wird, um Insekten zu detektieren, zu zählen, und/oder zu identifizieren, weil die Insektenfalle, die in der Bildaufnahme zumindest anteilig abgebildet ist, eine Funktionsbeeinträchtigung aufweist. Eine Mitteilung an einen Nutzer kann folgende Informationen umfassen: welche Insektenfalle ist betroffen (es kann z.B. ein Standort der Insektenfalle angegeben werden), welche Funktionsbeeinträchtigung liegt vor, wie schwer ist die Funktionsbeeinträchtigung, welche Maßnahmen können ergriffen werden, um die volle Funktionalität der Insektenfalle wiederherzustellen, wann sollten die Maßnahmen ergriffen werden, um eine weitere Funktionsbeeinträchtigung zu vermeiden). Es ist auch möglich, dass die Bildaufnahme, bei der das trainierte Modell des maschinellen Lernens eine Funktionsbeeinträchtigung erkannt hat, ebenfalls gegenüber dem Nutzer ausgegeben wird, damit sich der Nutzer selbst ein Bild von der Funktionsbeeinträchtigung machen kann.
Ist die Ausgabe des trainierten Modells des maschinellen Lernens ein Wahr scheinlichkeits wert für das Vor liegen einer Funktionsbeeinträchtigung, kann dieser Wahrscheinlichkeitswert mit einem vordefinierten Schwellenwert verglichen werden. Ist der Wahrscheinlichkeitswert größer als der Schwellenwert oder gleich dem Schwellenwert, kann eine Mitteilung über das Vorliegen einer Funktionsbeeinträchtigung bei einer Insektenfalle gegenüber einem Nutzer ausgegeben werden. Ist der Wahrscheinlichkeitswert kleiner als der Schwellenwert, so kann die Bildaufnahme einer Analyse zum Detektieren, Zählen und/oder Identifizieren von Insekten in dem Sammelbereich der Insektenfalle zugeführt werden.
Es ist denkbar, dass es mehr als einen Schwellenwert gibt, mit dem der Wahrscheinlichkeitswert verglichen wird. Es ist beispielsweise möglich, dass es einen oberen Schwellenwert und einen unteren Schwellenwert gibt. Bei einem Wahrscheinlichkeitswert, der unterhalb des unteren Schwellenwerts liegt, ist die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung so gering, dass der Nutzer nicht informiert werden muss. Die Bildaufnahme kann einer Analyse zum Detektieren, Zählen und/oder Identifizieren von Insekten in dem Sammelbereich der Insektenfalle zugeführt werden. Liegt der Wahr scheinlichkeits wert oberhalb des oberen Schwellenwerts, ist die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung so groß, dass gegenüber dem Nutzer eine Mitteilung über das Vorliegen einer Funktionsbeeinträchtigung ausgegeben wird. Es ist möglich, dass die Bildaufnahme keiner Analyse zum Detektieren, Zählen und/oder Identifizieren von Insekten zugeführt wird. Liegt der Wahrscheinlichkeitswert in dem Bereich von dem unteren Schwellenwert bis zum oberen Schwellenwert, herrscht eine gewisse Unklarheit darüber, ob eine Funktionsbeeinträchtigung vorliegt oder nicht. Diese Unsicherheit kann daraus resultieren, dass die Bildaufnahme eine vergleichsweise geringe Qualität aufweist. Es ist möglich, dass ein Befehl an die Steuereinheit der Insektenfalle übermittelt wird, eine weitere Bildaufnahme zu erzeugen, um diese weitere Bildaufnahme ebenfalls dem trainierten Modell des maschinellen Lernens zum Erkennen einer Funktionsbeeinträchtigung zuzuführen. Es ist möglich, dass bei der Erzeugung der weiteren Bildaufnahme Parameter verändert werden, um die Qualität der Bildaufnahme zu erhöhen. Zum Beispiel kann die Belichtungszeit vergrößert werden und/oder die Beleuchtung des Sammelbereichs durch eine oder mehrere Beleuchtungseinheiten verstärkt werden und/oder es können Filter (Farbfilter, Polarisationsfilter und/oder dergleichen) eingesetzt werden. Die weitere Bildaufnahme kann dann Klarheit darüber geben, ob eine Funktionsbeeinträchtigung vorliegt oder nicht. Es ist aber auch möglich, dass die Unsicherheit über das Vorliegen einer Funktionsbeeinträchtigung daraus resultiert, dass sich eine Funktionsbeeinträchtigung gerade erst abzeichnet, d.h., dass nur eine vergleichsweise geringe Funktionsbeeinträchtigung vorliegt (z.B. eine leichte Verschmutzung). Es ist möglich, dass die Steuereinheit der Insektenfalle durch einen Befehl veranlasst wird, das Zeitintervall zwischen zwei aufeinanderfolgenden Bildaufnahmen zu verkleinern. Bildaufnahmen werden dann in vermindertem zeitlichen Abstand zueinander aufgenommen, um eine weitere Funktionsbeeinträchtigung und/oder ein Erhöhen des Schweregrads der Funktionsbeeinträchtigung frühzeitig zu erkennen.
Schwellenwerte können von einem Experten aufgrund seiner Erfahrung festgelegt werden. Sie können aber auch von einem Nutzer festgelegt werden. Es ist möglich, dass der Nutzer selbst entscheiden kann, ob er bereits bei einer geringeren Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung informiert werden möchte, oder ob der Nutzer eher dann informiert werden möchte, wenn die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung vergleichsweise hoch ist.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann ein künstliches neuronales Netz sein oder ein solches umfassen. Ein „künstliches neuronales Netzwerk“ umfasst mindestens drei Schichten von Verarbeitungselementen: eine erste Schicht mit Eingangsneuronen (Knoten), eine k-te Schicht mit mindestens einem Ausgangsneuron (Knoten) und k-2 innere Schichten, wobei k eine natürliche Zahl und größer als 2 ist.
Die Eingangsneuronen dienen zum Empfangen der Eingabe-Repräsentationen. Üblicherweise gibt es ein Eingangsneuron für jedes Pixel einer Bildaufnahme, die in das künstliche neuronale Netz eingegeben wird. Es können zusätzliche Eingangsneuronen für zusätzliche Eingangswerte (z.B. Informationen zur Bildaufnahme, der abgebildeten Insektenfalle, Parameter der Kamera, Witterungsbedingungen bei der Erzeugung der Bildaufnahme und/oder dergleichen) vorhanden sein.
Die Ausgangsneuronen können dazu dienen, eine Information auszugeben, welcher Klasse die eingegebene Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit sie der Klasse zugeordnet wurde.
Die Verarbeitungselemente der Schichten zwischen den Eingangsneuronen und den Ausgangsneuronen sind in einem vorbestimmten Muster mit vorbestimmten Verbindungsgewichten miteinander verbunden.
Das Trainieren des neuronalen Netzwerks kann beispielsweise mittels eines Backpropagation- Verfahrens durchgeführt werden. Dabei wird für das Netzwerk eine möglichst zuverlässige Abbildung der Eingabedaten auf die Zieldaten angestrebt. Die Qualität der Vorhersage wird durch eine Fehlerfunktion beschrieben. Das Ziel ist die Minimierung der Fehlerfunktion. Das Einlernen eines künstlichen neuronalen Netzwerks erfolgt bei dem Backpropagation- Verfahren durch die Änderung der V erbindungsge wichte .
Im trainierten Zustand enthalten die Verbindungsgewichte zwischen den Verarbeitungselementen Informationen bezüglich des Zusammenhangs zwischen Bildaufnahmen und Funktionsbeeinträchtigungen der in den Bildaufnahmen abgebildeten Insektenfallen, die verwendet werden können, um auf Basis einer neuen Bildaufnahme eine Funktionsbeeinträchtigung einer Insektenfalle frühzeitig zu erkennen. Dabei bedeutet der Begriff „neu“, dass die neue Bildaufnahme nicht bereits beim Trainieren des künstlichen neuronalen Netzwerks verwendet wurde.
Eine Kreuzvalidierungsmethode kann verwendet werden, um die Daten in Trainings- und Validierungsdatensätze aufzuteilen. Der Trainingsdatensatz wird beim Backpropagation-Training der Netzwerkgewichte verwendet. Der Validierungsdatensatz wird verwendet, um zu überprüfen, mit welcher Vorhersagegenauigkeit sich das trainierte Netzwerk auf unbekannte (neue) Daten anwenden lässt.
Bei dem künstlichen neuronalen Netzwerk kann es sich um ein so genanntes Convolutional Neural Network (kurz: CNN) handeln oder es kann ein solches umfassen.
Ein Convolutional Neural Network („CNN“) ist in der Lage, Eingabedaten in Form einer Matrix zu verarbeiten. Dies ermöglicht es, als Matrix dargestellte Bildaufnahmen (z.B. Breite x Höhe x Farbkanäle) als Eingabedaten zu verwenden. Ein neuronales Netzwerk z.B. in Form eines Multi-Layer- Perceptrons (MLP) benötigt dagegen einen Vektor als Eingabe, d.h. um eine Bildaufnahme als Eingabe zu verwenden, müssten die Bildelemente (Pixel) der Bildaufnahme in einer langen Kette hintereinander ausgerollt werden. Dadurch sind Multi-Layer-Perceptrons z.B. nicht in der Lage, Objekte in einer Bildaufnahme unabhängig von der Position des Objekts in der Bildaufnahme zu erkennen. Das gleiche Objekt an einer anderen Position in der Bildaufnahme hätte einen anderen Eingabevektor.
Ein CNN besteht üblicherweise im Wesentlichen aus Filtern (Convolutional Layer) und Aggregations- Schichten (Pooling Layer), die sich abwechselnd wiederholen, und am Ende aus einer Schicht oder mehreren Schichten von vollständig verbundenen Neuronen (Dense / Fully Connected Layer).
In der wissenschaftlichen Literatur sind zahlreiche Architekturen von künstlichen neuronalen Netzwerken beschrieben, die zur Zuordnung eines Bildes zu einer Klasse (engl.: image classification) verwendet werden. Beispiele sind Xception (siehe z.B.: F. Chollet: Xception: Deep Learning with Depthwise Separable Convolutions, 2017, 1800-1807, 10.1109/CVPR.2017.195), ResNet (siehe z.B.: J. Liang: Image classification based on RESNET, Journal of Physics: Conference Series, 2020, 1634, 012110), EfficientNet (siehe z.B.: T. Mingxing Tan et ale. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, arXiv:1905.11946v5), DenseNet (siehe z.B.: G. Wang et al. Study on Image Classification Algorithm Based on Improved DenseNet, Journal of Physics: Conference Series, 2021, 1952, 022011), Inception (siehe z.B. J. Bankar et al. Convolutional Neural Network based Inception v3 Model for Animal Classification, International Journal of Advanced Research in Computer and Communication Engineering, 2018, Vol. 7, Issue 5) und andere (siehe z.B.: M. Tripathi: Analysis of Convolutional Neural Network based Image Classification Techniques. Journal of Innovative Image Processing, 2021, 3, 100-117; K. He et al. : Deep Residual Learning for Image Recognition, arXiv:1512.03385vl; M. Aamir et al.: An Optimized Architecture of Image Classification Using Convolutional Neural Network, International Journal of Image, Graphics and Signal Processing, 2019, 11, 30-39).
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann eine solche oder eine vergleichbare Architektur aufweisen.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann ein Transformer sein oder einen solchen umfassen. Ein Transformer ist ein Modell, das eine Folge von Zeichen in eine andere Folge von Zeichen übersetzen kann und dabei Abhängigkeiten zwischen weit entfernten Zeichen berücksichtigen kann. Ein solches Modell kann z.B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Ein Transformer umfasst in Serie geschaltete Kodierer (Encoder) und in Serie geschaltete Dekodierer (Decoder). Transformer wurden bereits erfolgreich zur Klassierung von Bildern eingesetzt (siehe z.B.: A. Dosovitskiy et al.: An image is worth 16 x 16 Words: Transformers for image recognition at scale, arXiv:2010.11929v2; A. Khan et al. : Transformers in Vision: A Survey, arXiv:2101.01169v5). Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann eine hybride Architektur aufweisen, in der beispielsweise Elemente eines CNN mit Elementen eines Transformers kombiniert sind.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann nach Standardverfahren (Zufallsinitialisierung, He-Initialisierung, Xavier-Initialisierung etc.) initialisiert werden. Es kann aber auch auf Basis von öffentlich zugänglichen, bereits annotierten Bildern (siehe z.B. https://www.image- net.org) vortrainiert sein. Das Training des Modells des maschinellen Lernens kann also entsprechend auf Initialisierung oder Vortraining aufsetzen und kann auch Transfer-Learning einschließen, so dass nur Teile der Gewichte / Parameter des Modells des maschinellen Lernens neu trainiert werden.
Das Modell des maschinellen Lernens kann eine Autoencoder-Architektur aufweisen. Ein "Autoencoder" ist ein künstliches neuronales Netzwerk, das zum Erlernen effizienter Datenkodierungen in einem unüberwachten Lernverfahren verwendet werden kann. Im Allgemeinen besteht die Aufgabe eines Autoencoders darin, eine komprimierte Repräsentation für einen Datensatz zu erlernen und somit wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion verwendet werden, indem das Netz darauf trainiert wird, "Rauschen" zu ignorieren. Ein Autoencoder umfasst einen Encoder, einen Decoder und eine Schicht zwischen dem Encoder und dem Decoder, die eine geringere Dimension aufweist als die Eingabeschicht des Encoders und die Ausgabeschicht des Decoders. Diese Schicht (im Englischen oft als bottleneck, encoding oder embedding bezeichnet) zwingt den Encoder, eine komprimierte Repräsentation der Eingabedaten zu erzeugen, bei der Rauschen minimiert ist, und die für den Decoder ausreichend ist, um die Eingabedaten zu rekonstruieren. Der Autoencoder kann also trainiert werden, für eine eingegebene Bildaufnahme eine komprimierte Repräsentation der Bildaufnahme zu erzeugen. Der Autoencoder kann beispielsweise ausschließlich auf Basis von Bildaufnahmen von Insektenfallen trainiert werden, die keine Funktionsbeeinträchtigung aufweisen. Der Autoencoder kann aber auch auf Basis von Bildaufnahmen trainiert werden, die Insektenfallen mit und ohne Funktionsbeeinträchtigung zeigen. Ist der Autoencoder trainiert, kann der Decoder verworfen werden und der Encoder kann verwendet werden, für jede eingegebene Bildaufnahme eine komprimierte Repräsentation zu erzeugen. Wird eine neue Insektenfalle installiert, kann nach Installation eine erste Bildaufnahme von der Insektenfalle erzeugt werden. Diese erste Bildaufnahme, die die Insektenfalle ohne eine Funktionsbeeinträchtigung zeugt, kann als eine Referenz verwendet werden. Von der ersten Bildaufnahme kann eine komprimierte Repräsentation mit Hilfe des Encoders des trainierten Autoencoders erzeugt werden. Diese komprimierte Repräsentation ist die Referenz-Repräsentation. Im Betrieb der Insektenfalle können von Bildaufnahmen, die von der Kamera der Insektenfalle erzeugt werden, komprimierte Repräsentationen mit Hilfe des Encoders erzeugt werden. Je ähnlicher eine komprimierte Repräsentation der Referenz-Bildaufnahme ist, desto unwahrscheinlicher ist es, dass eine Funktionsbeeinträchtigung vorliegt. Je mehr sich eine komprimierte Repräsentation von der Referenz - Bildaufnahme unterscheidet, desto wahrscheinlicher ist es, dass eine Funktionsbeeinträchtigung vorliegt. Die Ähnlichkeit von Repräsentationen kann mittels eines Ähnlichkeits- oder Distanzmaßes quantifiziert werden. Beispiele für solche Ähnlichkeits- oder Distanzmaße sind Cosinus-Ähnlichkeit, Manhattan-Distanz, Euklidischer Abstand, Minkowski-Distanz, Lp-Norm, Tschebyscheff- Abstand. Überschreitet ein Distanzmaß oder unterschreitet ein Ähnlichkeitsmaß einen vordefinierten Schwellenwert, der von einem Experten festgelegt oder von einem Nutzer spezifiziert werden kann, kann eine Mitteilung ausgegeben werden, dass eine Funktionsbeeinträchtigung vorliegt, und/oder kann Bildaufnahme aussortiert werden.
Ein Beispiel für eine Architektur eines Autoencoders ist das U-Net (siehe z.B. O. Ronneberger et al.-. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, Seiten 234-241, Springer, 2015, https://doi.org/10.1007/978-3-319-24574-4_28).
Es ist auch möglich, für das Modell des maschinellen Lernens der vorliegenden Erfindung eine Architektur zu verwenden, wie sie beispielsweise in der folgenden Publikation beschrieben ist: J. Dippel, S. Vogler, S. Höhne: Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling, arXiv:2104.04323v2. Der dort beschriebene Autoencoder weist neben einem Encoder und einem Decoder noch einen Strang (projection head) auf, der auf Basis der komprimierten Repräsentation, die der Encoder erzeugt, eine Ausgabe erzeugt, die angibt, ob die Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung oder ohne Funktionsbeeinträchtigung zeigt. Mit anderen Worten, der Autoencoder wird nicht nur trainiert, eine komprimierte Repräsentation der Eingabedaten zu erzeugen und die Eingabedaten auf Basis der komprimierten Repräsentation zu rekonstruieren, sondern der Autoencoder wird gleichzeitig trainiert, Bildaufnahmen von Insektenfallen mit Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden (kontrastive Rekonstruktion). Ist der Autoencoder trainiert, kann der Encoder verwendet werden, für eine erste Bildaufnahme einer neu installierten Insektenfalle eine komprimierte Referenz- Repräsentation zu erzeugen. Diese komprimierte Referenz-Repräsentation wird im Betrieb der Insektenfalle mit komprimierten Repräsentationen von Bildaufnahmen, die während des Betriebs erzeugt werden, verglichen, und im Fall einer definierten Abweichung wird eine Mitteilung ausgegeben, dass eine Funktionsbeeinträchtigung vorliegt. Ebenso ist es möglich, den Encoder zusammen mit dem Projektionsoperator (projection head) direkt für eine Klassierung zu verwenden.
Weitere Techniken zur Klassierung von Bildern sind beispielsweise beschrieben in S.V.S. Prasad et al. : Techniques in Image Classification - A Survey, Global Journal of Researches in Engineering (F), 2015, Volume XV, Issue, VI, Version I, 17-32; K. Sanghvi et al. '. A Survey on Image Classification Techniques, 2020, http://dx.doi.org/10.2139/ssrn.3754116 und können ebenfalls zur Ausführung der vorliegenden Erfindung verwendet werden.
Die Erfindung wird nachfolgend anhand von Zeichnungen näher erläutert, ohne die Erfindung auf die in den Zeichnungen dargestellten Merkmale und Merkmalskombinationen beschränken zu wollen.
Fig. 1 zeigt schematisch und beispielhaft das Training eines Modells des maschinellen Lernens. Das Modell des maschinellen Lernens wird mit Hilfe von Trainingsdaten TD trainiert. Die Trainingsdaten TD umfassen eine Vielzahl von Bildaufnahmen. Jede Bildaufnahme I zeigt einen Sammelbereich einer Insektenfalle (in Fig. 1 nicht dargestellt). Die Trainingsdaten TD umfassen ferner für jede Bildaufnahme I eine Information A, ob die in der Bildaufnahme I abgebildete Insektenfalle eine Funktionsbeeinträchtigung aufweist oder ob sie keine Funktionsbeeinträchtigung aufweist. Es ist möglich, dass die Information A Informationen darüber umfasst, welche spezifische Funktionsbeeinträchtigung im Einzelfall vorliegt und/oder wie schwerwiegend die Funktionsbeeinträchtigung ist und/oder welchen Schweregrad die Funktionsbeeinträchtigung aufweist. In Fig. 1 ist der Übersicht halber nur ein Trainingsdatensatz umfassend eine Bildaufnahme I mit einer Information A gezeigt; die Trainingsdaten umfassen aber eine Vielzahl solcher Trainingsdatensätze. Die Bildaufnahme I stellt Eingabedaten für das Modell MLM des maschinellen Lernens dar. Die Information A stellt Zieldaten für das Modell MLM des maschinellen Lernens dar. Die Bildaufnahme I wird dem Modell MLM des maschinellen Lernens zugeführt. Das Modell MLM des maschinellen Lernens ordnet die Bildaufnahme einer von mindestens zwei Klassen zu. Die Zuordnung erfolgt auf Basis der Bildaufnahme I und auf Basis von Modellparametern MP. Das Modell MLM des maschinellen Lernens gibt eine Information O aus, die angibt, welcher Klasse die Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde. Die ausgegebene Information O wird mit der Information A verglichen. Eine Fehlerfunktion LF wird verwendet, um die Abweichungen zwischen der Information O (Ausgabe) und der Information A (Zieldaten) zu quantifizieren. Für jedes Paar aus Information A und Information O kann ein Fehlerwert LV berechnet werden. Der Fehlerwert LV kann in einem Optimierungsverfahren (z.B. einem Gradientenverfahren) durch Modifizieren von Modellparametern MP reduziert werden. Das Ziel des Trainings kann es sein, den Fehlerwert für alle Bildaufnahmen auf ein vordefiniertes Minimum zu reduzieren. Ist das vordefinierte Minimum erreicht, kann das Training beendet werden.
Fig. 2 zeigt schematisch die Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Insektenfalle. Das trainierte Modell MLM1 des maschinellen Lernens kann in einem Trainingsverfahren, wie es in Bezug zu Fig. 1 beschrieben wurde, trainiert worden sein. Dem trainierten Modell MLM1 des maschinellen Lernen wird eine neue Bildaufnahme I* zugeführt. Die neue Bildaufnahme I* zeigt einen Sammelbereich einer Insektenfalle. Das Modell ordnet die neue Bildaufnahme I* einer der mindestens zwei Klassen zu, für die das trainierte Modell MLM1 des maschinellen Lernens trainiert worden ist. Das trainierte Modell MLM1 des maschinellen Lernens gibt eine Information O aus, die angibt, welcher Klasse die Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde. Die Information O kann einem Nutzer gegenüber ausgegeben werden.
Fig. 3 zeigt schematisch ein weiteres Beispiel für das Trainieren eines Modells des maschinellen Lernens. Das Modell des maschinellen Lernens weist eine Autoencoder-Architektur auf. Der Autoencoder AE umfasst einen Encoder E und einen Decoder D. Der Encoder E ist konfiguriert, auf Basis von Modellparametern MP für eine Bildaufnahme I eine komprimierte Repräsentation CR zu erzeugen. Der Decoder D ist konfiguriert, auf Basis der komprimierten Repräsentation CR und auf Basis von Modellparametern MP eine rekonstruierte Bildaufnahme RI zu erzeugen, die der Bildaufnahme I möglichst nahe kommt. Eine Fehlerfunktion LF kann verwendet werden, um Abweichungen zwischen der Bildaufnahme I und der rekonstruierten Bildaufnahme RI zu quantifizieren. Die Abweichungen können in einem Optimierungsverfahren (z.B. in einem Gradientenverfahren) durch Modifizieren von Modellparametern MP minimiert werden. Der Autoencoder AE wird üblicherweise auf Basis einer Vielzahl von Bildaufnahmen in einem unüberwachten Lernverfahren trainiert. In Fig. 3 ist nur eine Bildaufnahme I der Vielzahl von Bildaufnahmen gezeigt. Jede Bildaufnahme der Vielzahl von Bildaufnahmen zeigt einen Sammelbereich oder einen Teil davon einer oder mehrerer Insektenfallen. Die eine oder die mehreren Insektenfallen können eine oder mehrere Funktionsbeeinträchtigungen aufweisen oder frei von Funktionsbeeinträchtigungen sein.
Fig. 4 zeigt schematisch ein weiteres Beispiel einer Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Insektenfalle. Das trainierte Modell des maschinellen Lernens kann in einem Trainingsverfahren, wie es in Bezug zu Fig. 3 beschrieben wurde, trainiert worden sein. Bei dem trainierten Modell des maschinellen Lernens kann es sich um einen Encoder E eines Autoencoders handeln. Der Encoder E ist in Fig. 4 zweimal dargestellt; es handelt sich aber in beiden Fällen um denselben Encoder; er ist lediglich zur bildhaften Darstellung des Erkennungsverfahrens zweimal dargestellt. In einem ersten Schritt wird dem Encoder E eine erste Bildaufnahme L* eines Sammelbereichs einer Insektenfalle zugeführt. Das Sternchen * zeigt an, dass die Bildaufnahme L* nicht zum Trainieren des Modells des maschinellen Lernens verwendet wurde. Bei der Bildaufnahme L* handelt es sich vorzugsweise um eine Bildaufnahme einer Insektenfalle ohne Funktionsbeeinträchtigung, die beispielsweise nach der Installation der Insektenfalle erzeugt worden sein kann. Der Encoder E ist konfiguriert, für die erste Bildaufnahme L* eine erste komprimierte Repräsentation CRi zu erzeugen. Die erste komprimierte Repräsentation CRi kann als eine Referenz- Repräsentation verwendet werden. Sie kann in einem Datenspeicher gespeichert werden. Während des Betriebs der Insektenfalle werden weitere Bildaufnahmen des Sammelbereichs der Insektenfall erzeugt. Fig. 4 zeigt mit der Bildaufnahme L* eine dieser weiteren Bildaufnahmen. Auch die Bildaufnahme L* wird dem Encoder E zugeführt. Der Encoder E erzeugt für die Bildaufnahme L* eine zweite komprimierte Repräsentation CR2. Die erste Repräsentation CRi und die zweite Repräsentation CR2 werden in einem nächsten Schritt miteinander verglichen. Bei diesem Vergleich wird ein Distanzmaß D berechnet, dass die Unterschiede zwischen der ersten Repräsentation CRi und der zweiten Repräsentation CR2 quantifiziert. In einem nächsten Schritt wird das Distanzmaß mit einem vordefinierten Schwellenwert T vergleichen. Ist das Distanzmaß größer als der vordefinierte Schwellenwert T („y“), wird eine Mitteilung M ausgegeben. Die Mitteilung M umfasst eine Information, dass die Insektenfalle, die in der Bildaufnahme I2* gezeigt ist, eine Funktionsbeeinträchtigung aufweist. Ist das Distanzmaß nicht größer als der vordefinierte Schwellenwert T („n“), wird die Bildaufnahme I2* einer Analyse DCI(l2*) zugeführt, um Insekten in dem Sammelbereich der Insektenfalle zu detektieren und/oder die in dem Sammelbereich befindlichen Insekten zu zählen und/oder zu identifizieren. Fig. 5 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Trainieren eines Modells des maschinellen Lernens in Form eines Ablaufschemas.
Das Trainingsverfahren (100) umfasst die folgenden Schritte:
(110) Empfangen und/oder Bereitstellen von Trainingsdaten, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen von einer oder mehreren Insektenfallen umfassen, wobei jede Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und mindestens eine zweite Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen,
(120) Bereitstellen eines Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist, auf Basis einer Bildaufnahme und auf Basis von Modellparametern die Bildaufnahme einer der mindestens zwei Klassen zuzuordnen,
(130) Trainieren des Modells des maschinellen Lernens mit den Trainingsdaten, wobei das Trainieren für jede Bildaufnahme umfasst:
(131) Zuführen der Bildaufnahme dem Modell des maschinellen Lernens,
(132) Empfangen einer Ausgabe von dem Modell des maschinellen Lernens, wobei die Ausgabe angibt, welcher Klasse das Modell des maschinellen Lernens die Bildaufnahme zugeordnet hat und/oder mit welcher Wahrscheinlichkeit das Modell des maschinellen Lernens die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet hat,
(133) Ermitteln einer Abweichung zwischen der Ausgabe und der Klassenzuordnung,
(134) Minimieren der Abweichung durch Modifizieren der Modellparameter,
(140) Speichern und/oder Ausgeben des trainierten Modells des maschinellen Lernens und/oder Verwenden des trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer kameraüberwachten Insektenfalle.
Fig. 6 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Erkennen einer Funktionsbeeinträchtigung bei einer kameraüberwachten Insektenfalle.
Das Erkennungsverfahren (200) umfasst die folgenden Schritte:
(210) Empfangen einer Bildaufnahme, wobei die Bildaufnahme einen Sammelbereich einer Insektenfalle zeigt,
(220) Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen,
• wobei die Eingabedaten eine Vielzahl von Bildaufnahmen von einer oder mehreren Insektenfallen umfassen, wobei jede Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, • wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen und mindestens eine zweite Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen,
(230) Zuführen der Bildaufnahme einem trainierten Modell des maschinellen Lernens,
(240) Empfangen einer Information von dem Modell des maschinellen Lernens, welcher Klasse die Bildaufnahme zugeführt wurde,
(250) für den Fall, dass die Bildaufnahme einer der mindestens einen zweiten Klasse zugeordnet wurde: Ausgeben einer Mitteilung, dass die zumindest anteilig in der Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist.
Die in dieser Offenbarung beschriebenen Schritte, Verfahren und/oder Funktionen können ganz oder teilweise von einem Computersystem ausgeführt werden.
Ein "Computersystem" ist ein System zur elektronischen Datenverarbeitung, das mittels programmierbarer Rechenvorschriften Daten verarbeitet. Ein solches System umfasst üblicherweise einen "Computer", diejenige Einheit, die einen Prozessor zur Durchführung logischer Operationen umfasst, sowie eine Peripherie.
Als "Peripherie" bezeichnet man in der Computertechnik alle Geräte, die an den Computer angeschlossen sind, und zur Steuerung des Computers und/oder als Ein- und Ausgabegeräte dienen. Beispiele hierfür sind Monitor (Bildschirm), Drucker, Scanner, Maus, Tastatur, Laufwerke, Kamera, Mikrofon, Lautsprecher etc. Auch interne Anschlüsse und Erweiterungskarten gelten in der Computertechnik als Peripherie.
Heutige Computersysteme werden häufig in Desktop-PCs, tragbare PCs, Laptops, Notebooks, Netbooks und Tablet-PCs sowie sogenannte Handhelds (z. B. Smartphone) unterteilt; alle diese Systeme können für die Durchführung der Erfindung verwendet werden.
Der Begriff "Computer" sollte weit ausgelegt werden und jede Art von elektronischem Gerät mit Datenverarbeitungsfähigkeiten umfassen, einschließlich, als nicht einschränkende Beispiele, Personalcomputer, Server, eingebettete Kerne, Kommunikationsgeräte, Prozessoren (z.B. digitale Signalprozessoren (DSP), Mikrocontroller, feldprogrammierbare Gate-Arrays (FPGA), anwendungsspezifische integrierte Schaltkreise (ASIC) usw.) und andere elektronische Rechengeräte.
Der Begriff "verarbeiten", wie er oben verwendet wird, soll jede Art von Berechnung oder Manipulation oder Umwandlung von Daten umfassen, die als physikalische, z.B. elektronische, Phänomene dargestellt werden und z.B. in Registern und/oder Speichern mindestens eines Computers oder Prozessors auftreten oder gespeichert werden können. Der Begriff "Prozessor" umfasst eine einzelne Verarbeitungseinheit oder eine Vielzahl verteilter oder entfernter solcher Einheiten.
Fig. 7 zeigt beispielhaft und schematisch eine Ausführungsform eines Computersystems der vorliegenden Offenbarung. Das Computersystem (1) umfasst eine Eingabeeinheit (10) eine Steuer- und Recheneinheit (20) und eine Ausgabeeinheit (30).
Die Steuer- und Recheneinheit (20) ist konfiguriert, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die empfangene Bildaufnahme einen Sammelbereich einer Insektenfalle zeigt, die empfangene Bildaufnahme einem trainierten Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen von einer oder mehreren Insektenfallen umfassen, wobei jede Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen und mindestens eine zweite Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen, von dem Modell des maschinellen Lernens eine Information zu empfangen, welcher Klasse der mindestens zwei Klassen die Bildaufnahme zugeführt wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, dass die zumindest anteilig in der Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist, falls die Bildaufnahme einer der mindestens einen zweiten Klassen zugeordnet wurde.
Fig. 8 zeigt beispielhaft und schematisch eine weitere Ausführungsform eines Computersystems der vorliegenden Offenbarung.
Das Computersystem (1) umfasst eine Verarbeitungseinheit (20), die mit einem Speicher (50) verbunden ist.
Die Verarbeitungseinheit (20) (engl.: processing unit) kann einen oder mehrere Prozessoren allein oder in Kombination mit einem oder mehreren Speichern umfassen. Bei der Verarbeitungseinheit (20) kann es sich um gewöhnliche Computerhardware handeln, die in der Lage ist, Informationen wie z.B. digitale Bildaufnahmen, Computerprogramme und/oder andere digitale Informationen zu verarbeiten. Die Verarbeitungseinheit (20) besteht üblicherweise aus einer Anordnung elektronischer Schaltungen, von denen einige als integrierter Schaltkreis oder als mehrere miteinander verbundene integrierte Schaltkreise (ein integrierter Schaltkreis wird manchmal auch als "Chip" bezeichnet) ausgeführt sein können. Die Verarbeitungseinheit (20) kann konfiguriert sein, Computerprogramme auszuführen, die in einem Arbeitsspeicher der Verarbeitungseinheit (20) oder im Speicher (50) desselben oder eines anderen Computersystems gespeichert sein können.
Der Speicher (50) kann eine gewöhnliche Computerhardware sein, die in der Lage ist, Informationen wie z.B. digitale Bildaufnahmen (z.B. Repräsentationen des Untersuchungsbereichs), Daten, Computerprogramme und/oder andere digitale Informationen entweder vorübergehend und/oder dauerhaft zu speichern. Der Speicher (50) kann einen flüchtigen und/oder nichtflüchtigen Speicher umfassen und kann fest eingebaut oder entfernbar sein. Beispiele für geeignete Speicher sind RAM (Random Access Memory), ROM (Read-Only Memory), eine Festplatte, ein Flash-Speicher, eine austauschbare Computerdiskette, eine optische Disc, ein Magnetband oder eine Kombination der oben genannten. Zu den optischen Discs können Compact Discs mit Nur-Lese-Speicher (CD-ROM), Compact Discs mit Lese-/Schreibfunktion (CD-R/W), DVDs, Blu-ray-Discs und ähnliche gehören.
Zusätzlich zum Speicher (50) kann die Verarbeitungseinheit (20) auch mit einer oder mehreren Schnittstellen (11, 12, 30, 41 , 42) verbunden sein, um Informationen anzuzeigen, zu übertragen und/oder zu empfangen. Die Schnittstellen können eine oder mehrere Kommunikationsschnittstellen (41, 42) und/oder eine oder mehrere Benutzerschnittstellen (11, 12, 30) umfassen. Die eine oder mehrere Kommunikationsschnittstellen (41, 42) können so konfiguriert sein, dass sie Informationen senden und/oder empfangen, z.B. zu und/oder von einer MRT-Scanner, einem CT-Scanner, einer Ultraschallkamera, anderen Computersystemen, Netzwerken, Datenspeichern oder dergleichen. Die eine oder mehrere Kommunikationsschnittstellen (41, 42) können so konfiguriert sein, dass sie Informationen über physische (verdrahtete) und/oder drahtlose Kommunikationsverbindungen übertragen und/oder empfangen. Die eine oder die mehreren Kommunikationsschnittstellen (41, 42) können eine oder mehrere Schnittstellen für die Verbindung mit einem Netzwerk enthalten, z.B. unter Verwendung von Technologien wie Mobiltelefon, Wi-Fi, Satellit, Kabel, DSL, Glasfaser und/oder dergleichen. In einigen Beispielen können die eine oder die mehreren Kommunikationsschnittstellen (41, 42) eine oder mehrere Nahbereichskommunikationsschnittstellen umfassen, die so konfiguriert sind, dass sie Geräte mit Nahbereichskommunikationstechnologien wie NFC, RFID, Bluetooth, Bluetooth LE, ZigBee, Infrarot (z. B. IrDA) oder Ähnlichem verbinden.
Die Benutzerschnittstellen (11, 12, 30) können eine Anzeige (30) umfassen. Eine Anzeige (30) kann so konfiguriert sein, dass sie einem Benutzer Informationen anzeigt. Geeignete Beispiele hierfür sind eine Flüssigkristallanzeige (LCD), eine Leuchtdiodenanzeige (LED), ein Plasmabildschirm (PDP) oder Ähnliches. Die Benutzereingabeschnittstelle(n) (11, 12) kann/können verdrahtet oder drahtlos sein und kann/können so konfiguriert sein, dass sie Informationen von einem Benutzer in das Computersystem (1) empfängt/empfangen, z.B. zur Verarbeitung, Speicherung und/oder Anzeige. Geeignete Beispiele für Benutzereingabeschnittstellen (11, 12) sind ein Mikrofon, ein Bild- oder Videoaufnahmegerät (z.B. eine Kamera), eine Tastatur oder ein Tastenfeld, ein Joystick, eine berührungsempfindliche Oberfläche (getrennt von einem Touchscreen oder darin integriert) oder ähnliches. In einigen Beispielen können die Benutzerschnittstellen eine automatische Identifikations- und Datenerfassungstechnologie (AIDC) für maschinenlesbare Informationen enthalten. Dazu können Barcodes, Radiofrequenz-Identifikation (RFID), Magnetstreifen, optische Zeichenerkennung (OCR), Karten mit integrierten Schaltkreisen (ICC) und ähnliches gehören. Die Benutzerschnittstellen können ferner eine oder mehrere Schnittstellen für die Kommunikation mit Peripheriegeräten wie Druckern und dergleichen umfassen.
Ein oder mehrere Computerprogramme (60) können im Speicher (50) gespeichert sein und von der Verarbeitungseinheit (20) ausgeführt werden, die dadurch programmiert wird, die in dieser Beschreibung beschriebenen Funktionen zu erfüllen. Das Abrufen, Laden und Ausführen von Anweisungen des Computerprogramms (60) kann sequenziell erfolgen, so dass jeweils ein Befehl abgerufen, geladen und ausgeführt wird. Das Abrufen, Laden und/oder Ausführen kann aber auch parallel erfolgen.

Claims

Patentansprüche
1. Computerimplementiertes Verfahren umfassend:
Empfangen einer Bildaufnahme, wobei die empfangene Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt,
Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, für den Fall, dass die empfangenen Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt: Ausgeben einer Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist.
2. Verfahren gemäß Anspruch 1, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen von einer oder mehreren Insektenfallen umfassen, wobei jede Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Insektenfallen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und mindestens eine zweite Klasse Bildaufnahmen von Insektenfallen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen, wobei das Empfangen einer Information von dem Modell des maschinellen Lernens umfasst: o Empfangen einer Information von dem Modell des maschinellen Lernens, welcher Klasse die Bildaufnahme zugeführt wurde, wobei die Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist, ausgegeben wird, wenn die empfangene Bildaufnahme einer der mindestens einen zweiten Klasse zugeordnet wurde.
3. Verfahren gemäß Anspruch 2, wobei das Trainieren des Modells des maschinellen Lernens für jede Bildaufnahme der Vielzahl an Bildaufnahmen umfasst:
Eingeben der Bildaufnahme in das Modell des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist, auf Basis der eingegebenen Bildaufnahme und auf Basis von Modellparametern die Bildaufnahme einer von mindestens zwei Klassen zuzuordnen,
Empfangen einer Ausgabe von dem Modell des maschinellen Lernens, wobei die Ausgabe angibt, welcher der mindestens zwei Klassen die eingegebene Bildaufnahme von dem Modell des maschinellen Lernens zugeordnet wurde, Quantifizieren einer Abweichung zwischen der Ausgabe und der Klassenzuordnung der Trainingsdaten,
Minimieren der Abweichung durch Modifizieren von Modellparametern.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, die empfangene Bildaufnahme einer von mehreren Klassen zuzuordnen, wobei jede Klasse einer Mehrzahl von Klassen eine spezifische Funktionsbeeinträchtigung aufweist, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, welche spezifische Funktionsbeeinträchtigung bei der zumindest anteilig in der empfangenen Bildaufnahme gezeigten Insektenfalle vorliegt.
5. Verfahren gemäß einem der Ansprüche 1 bis 4, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, auf Basis der empfangenen Bildaufnahme für eine oder mehrere spezifische Funktionsbeeinträchtigungen eine Wahrscheinlichkeit auszugeben, mit der die spezifische Funktionsbeeinträchtigung auftritt, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, mit welcher Wahrscheinlichkeit die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen bei der zumindest anteilig in der empfangenen Bildaufnahme gezeigten Insektenfalle vorliegt.
6. Verfahren gemäß einem der Ansprüche 1 bis 4, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, auf Basis der empfangenen Bildaufnahme für eine oder mehrere spezifische Funktionsbeeinträchtigungen einen Schweregrad auszugeben, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, mit welchem Schweregrad die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen bei der zumindest anteilig in der empfangenen Bildaufnahme gezeigten Insektenfalle vorliegt.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, wobei die Funktionsbeeinträchtigung und/oder die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen ausgewählt sind aus der folgenden Liste:
Flüssigkeitsniveau in dem Sammelbereich ist unter einen unteren Schwellenwert gesunken,
Flüssigkeitsniveau in dem Sammelbereich ist über einen oberen Schwellenwert gestiegen,
Sammelbereich ist verschmutzt,
Sammelbereich ist ausgeschöpft,
Algenbildung im Sammelbereich,
Schaum im Sammelbereich,
Eisbildung oder Vereisung von Flüssigkeiten,
Sichtfeld der Kamera ist eingeschränkt,
Kamera und/oder optische Elemente sind verschmutzt,
Beleuchtungsquelle(n) defekt und/oder verschmutzt, - TI - es treten unerwünschte Reflexe auf,
Position und/oder Lage von Bestandteilen der Insektenfalle und/oder der Insektenfalle als Ganzes sind verändert,
Kamera ist defekt,
Kamera erzeugt keine Aufnahmen vom Sammelbereich.
8. Verfahren gemäß Anspruch 1, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, für die empfangene Bildaufnahme eine komprimierte Repräsentation zu erzeugen, wobei das Verfahren ferner umfasst: o Quantifizieren einer Ähnlichkeit und/oder eines Unterschieds zwischen der komprimierten Repräsentation und einer Referenz-Repräsentation durch Berechnen eines Ähnlichkeitsmaßes und/oder eines Distanzmaßes, wobei das Ausgeben der Mitteilung umfasst: Ausgeben der Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist, wenn das Ähnlichkeitsmaß unterhalb eines vordefinierten Schwellenwerts liegt und/oder das Distanzmaß oberhalb eines vordefinierten Schwellenwerts liegt.
9. Verfahren gemäß einem der Ansprüche 1 bis 8, wobei das Modells des maschinellen Lernens ein künstliches neuronales Netz ist oder ein solches umfasst, wobei das künstliche neuronale Netz vorzugsweise ein CNN ist oder ein solches umfasst und/oder ein Transformer ist oder einen solchen umfasst.
10. Verfahren gemäß einem der Ansprüche 1 bis 8, wobei das Modell des maschinellen Lernens ein Encoder eines Autoencoders ist oder umfasst.
11. Verfahren gemäß einem der Ansprüche 1 bis 9, wobei das Verfahren ferner umfasst: ausschließlich für den Fall, dass die empfangene Bildaufnahme eine Insektenfalle ohne Funktionsbeeinträchtigung zeigt: Detektieren, Zählen und/oder Identifizieren von Insekten in dem Sammelbereich der Insektenfalle auf Basis der empfangenen Bildaufnahme.
12. Verfahren gemäß einem der Ansprüche 1 bis 11, wobei die Mitteilung ferner eine oder mehrere der folgenden Informationen umfasst:
Standort der Insektenfalle,
Informationen darüber, welche Funktionsbeeinträchtigung vorliegt,
Informationen darüber, wie schwerwiegend die Funktionsbeeinträchtigung ist,
Informationen darüber, welche Maßnahmen ergriffen werden können, um eine vollständige Funktionalität der Insektenfalle wiederherzustellen,
Informationen darüber, wann die Maßnahmen ergriffen werden sollten, um eine weitere Funktionsbeeinträchtigung zu verhindern, die empfangene Bildaufnahme.
13. Computersystem umfassend: eine Eingabeeinheit, eine Steuer- und Recheneinheit und eine Ausgabeeinheit, wobei die Steuer- und Recheneinheit konfiguriert ist, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die empfangene Bildaufnahme zumindest einen Teil eines Sammelbereichs einer Insektenfalle zeigt, die empfangene Bildaufnahme einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden, von dem Modell des maschinellen Lernens eine Information zu empfangen, wobei die Information angibt, ob die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, wobei die Mitteilung angibt, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Insektenfalle eine Funktionsbeeinträchtigung aufweist, wenn die von dem Modell des maschinellen Lernens ausgegebene Information angibt, dass die empfangene Bildaufnahme eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigt.
14. Nicht-flüchtiges computerlesbares Speichermedium, auf dem Softwarebefehle gespeichert sind, die, wenn sie von einem Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen, das Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen.
15. System umfassend:
• eine Insektenfalle,
• eine Kamera,
• eine Steuereinheit,
• eine Analyseneinheit,
• eine Sendeeinheit, und
• eine Ausgabeeinheit wobei die Steuereinheit konfiguriert ist, die Kamera zu veranlassen, eine oder mehrere Bildaufnahmen von einem Sammelbereich der Insektenfalle zu erzeugen, wobei die Analyseneinheit konfiguriert ist, die eine oder die mehreren erzeugten Bildaufnahmen einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von Insektenfallen mit einer Funktionsbeeinträchtigung von Bildaufnahmen von Insektenfallen ohne Funktionsbeeinträchtigung zu unterscheiden, wobei die Analyseneinheit konfiguriert ist, eine Information von dem Modell des maschinellen Lernens zu empfangen, wobei die Information angibt, ob die eine oder die mehreren Bildaufnahmen eine Insektenfalle mit einer Funktionsbeeinträchtigung zeigen, wobei die Sendeeinheit konfiguriert ist, die Information und/oder die eine oder die mehreren Bildaufnahmen an ein separates Computersystem zu übermitteln, wobei die Ausgabeeinheit konfiguriert ist, die Information auszugeben.
16. Kit umfassend eine Insektenfalle und ein Computerprogrammprodukt, wobei die Insektenfalle eine
Kamera oder Mittel zum Aufnehmen einer Kamera umfasst, wobei das Computerprogrammprodukt Programmbefehle umfasst, wobei die Programmbefehle in einen Arbeitsspeicher eines Computersystems geladen werden können, und das Computersystem veranlassen, das Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen.
EP24702571.1A 2023-02-06 2024-02-02 Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen Pending EP4661663A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP23155179 2023-02-06
PCT/EP2024/052592 WO2024165430A1 (de) 2023-02-06 2024-02-02 Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen

Publications (1)

Publication Number Publication Date
EP4661663A1 true EP4661663A1 (de) 2025-12-17

Family

ID=85175686

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24702571.1A Pending EP4661663A1 (de) 2023-02-06 2024-02-02 Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen

Country Status (3)

Country Link
EP (1) EP4661663A1 (de)
CN (1) CN120614984A (de)
WO (1) WO2024165430A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075781A1 (en) * 2015-11-05 2019-03-14 John Michael Redmayne A trap or dispensing device
ES2908475T3 (es) 2016-09-22 2022-04-29 Basf Agro Trademarks Gmbh Control de organismos nocivos
EP3482630B1 (de) * 2017-11-13 2021-06-30 EFOS d.o.o. Verfahren, system und computerprogramm zur durchführung einer schädlingsprognose
EP3852520A1 (de) 2018-09-21 2021-07-28 Bayer Aktiengesellschaft Detektion von gliederfüssern
EP3900530A1 (de) 2020-04-23 2021-10-27 Bayer AG Flüssigkeitsmanagement für eine fangvorrichtung
DE102020128032A1 (de) * 2020-10-24 2022-04-28 Jürgen Buchstaller Vorrichtung zur Bekämpfung und/oder Überwachung von Schädlingen
KR20240023381A (ko) * 2021-02-09 2024-02-21 렌토킬 이니셜 1927 피엘씨 적응가능한 미끼 스테이션
EP4091444A1 (de) 2021-05-21 2022-11-23 Bayer AG Fangschale für pflanzenschädlinge

Also Published As

Publication number Publication date
CN120614984A (zh) 2025-09-09
WO2024165430A1 (de) 2024-08-15

Similar Documents

Publication Publication Date Title
EP4025047B1 (de) System und verfahren zur identifizierung von unkraut
Yalcin Plant phenology recognition using deep learning: Deep-Pheno
Rupanagudi et al. A novel cloud computing based smart farming system for early detection of borer insects in tomatoes
DE69217047T2 (de) Verbesserungen in neuronalnetzen
DE112018000349T5 (de) Visuelles Analysesystem für auf einem konvolutionalen neuronalen Netz basierte Klassifizierer
Roldán-Serrato et al. Automatic pest detection on bean and potato crops by applying neural classifiers
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
WO2018065308A1 (de) Identifizierung von nützlingen und/oder schadstoffen in einem feld für kulturpflanzen
EP2353146A1 (de) Verfahren zur vermessung des wachstums von blattscheiben von pflanzen sowie eine dazu geeignete vorrichtung
EP3528609A1 (de) Ertragsvorhersage für ein kornfeld
EP3626077A1 (de) Schädlingskontrolle
DE112022003791T5 (de) Automatisches erzeugen eines oder mehrerer bildverarbeitungsaufträge basierend auf bereichen von interesse (rois) digitaler bilder
EP4064818B1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld
Dandekar et al. Weed plant detection from agricultural field images using YOLOv3 algorithm
CN110569858A (zh) 一种基于深度学习算法的烟叶病虫害识别方法
EP3979214A1 (de) Bekämpfung von schadorganismen
DE102023122228A1 (de) Verfahren, auswertesystem, auswerteeinrichtung und system oder vorrichtung zum auswerten von spektraldaten
DE102023113704A1 (de) Vorrichtung, auswerteeinrichtung, auswertesystem und verfahren für eine zustandsanalyse einer pflanze
DE102017217258A1 (de) Verfahren zum Klassifizieren von Pflanzen
Kandalkar et al. Classification of agricultural pests using dwt and back propagation neural networks
WO2023208619A1 (de) Vorhersage von ablagerungsstrukturen von pflanzenschutzmitteln und/oder nährstoffen auf pflanzenteilen
DE102019131858A1 (de) System zur automatischen Erfassung und Bestimmung von sich bewegenden Objekten
EP4661663A1 (de) Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen
DE202025102548U1 (de) Ein datenzentriertes System für die Analyse landwirtschaftlicher Kulturen mit Hilfe von künstlicher Intelligenz und maschinellem Lernen
EP4672961A1 (de) Vorhersage eines wartungsbedarfs für eine insektenfalle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250908

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR