EP4139839A1 - Method and device for optically inspecting containers in a drinks processing system - Google Patents

Method and device for optically inspecting containers in a drinks processing system

Info

Publication number
EP4139839A1
EP4139839A1 EP21716307.0A EP21716307A EP4139839A1 EP 4139839 A1 EP4139839 A1 EP 4139839A1 EP 21716307 A EP21716307 A EP 21716307A EP 4139839 A1 EP4139839 A1 EP 4139839A1
Authority
EP
European Patent Office
Prior art keywords
images
evaluation unit
containers
error
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21716307.0A
Other languages
German (de)
French (fr)
Inventor
Alexander Hewicker
Anton Niedermeier
Herbert Kolb
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krones AG
Original Assignee
Krones AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krones AG filed Critical Krones AG
Publication of EP4139839A1 publication Critical patent/EP4139839A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9036—Investigating the presence of flaws or contamination in a container or its contents using arrays of emitters or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the invention relates to a method and a device for the optical inspection of containers in a beverage processing plant with the features of the preamble of claims 1 and 10, respectively.
  • such methods and devices are used to inspect the container for contamination and / or defects, for example.
  • the containers are transported with a conveyor as a container mass flow and recorded as camera images by an inspection unit arranged in the beverage processing system.
  • the camera images are then inspected for errors by a first evaluation unit using conventional image processing methods. If an error, such as contamination or a defect in a container, is recognized, it is cleaned or recycled.
  • such methods and devices for the optical inspection of containers are used in the side wall, base and / or fill level inspection of empty containers or containers already filled with a product. It is also conceivable that such methods and devices for the optical inspection of containers in beverage processing plants are used to detect processing errors during treatment in the beverage processing plant. For example, whether a container has fallen over during transport or a jam is forming.
  • the camera images are evaluated by conventional image processing methods with transformation, point, neighborhood, filter, histogram, threshold, brightness and / or contrast operations in order to detect image areas in the camera images that contain dirt and / or have errors.
  • the disadvantage here is that such neural or deep neural networks have to be trained with a training data set which comprises 1000-10,000 or even more marked images in which, for example, the errors are marked.
  • the marking is usually done by image processing experts and / or trained employees at the manufacturer of the beverage processing system. This is also time-consuming and costly.
  • the object of the present invention is therefore to provide a method and a device for the optical inspection of containers in a beverage processing plant, in which setting up the image processing method is less time-consuming and costly.
  • the invention provides a method for the optical inspection of containers in a beverage processing plant with the features of claim 1.
  • Advantageous embodiments are mentioned in the subclaims.
  • the camera images with the defective containers are classified as error images and the errors are assigned to the error images as error markings, and because those of the camera images with the containers found to be good are classified as error-free images, a large number of error images and error-free images can occur
  • Basis of the conventionally working image processing method are provided. This can be done, for example, in the beverage processing plant with container types in which the conventionally working image processing method has been set up and thus works particularly reliably.
  • a specific training data set is then compiled from the error images, the error markings and the error-free images, and the second evaluation unit is trained on site with the image processing method based on artificial intelligence.
  • the specific training data set can be provided automatically to the greatest possible extent, as a result of which the method is particularly time-efficient and therefore cost-effective.
  • the method for optical inspection can be assigned to a container manufacturing method, cleaning method, filling and / or closing method before, after or.
  • the method can be used in a full bottle or empty bottle inspection machine that includes the inspection unit.
  • the containers can be provided to hold beverages, food, hygiene articles, pastes, chemical, biological and / or pharmaceutical products.
  • the containers can be designed as bottles, in particular as plastic bottles or glass bottles.
  • Plastic bottles can in particular be PET, PEN, HD-PE or PP bottles. It is also conceivable that the containers are preforms for producing the plastic bottles. They can also be biodegradable containers or bottles, the main components of which are made from renewable raw materials such as sugar cane, wheat or corn.
  • the containers can be provided with a closure, for example with a crown cap, screw cap, zip fastener or the like.
  • the containers can also be present as empties, preferably without a closure.
  • the method is used for side wall, floor, mouth, content and / or filling height control of the container.
  • the errors can be soiling, such as foreign bodies, product residues, residues of labels and / or the like. It can also be defects, such as damage to the containers, in particular special cracks and / or chipped glass. It is also conceivable that the material locations are incorrectly produced, such as, for example, local material thinning and / or thickening. It is also conceivable that the method is used to inspect returned reusable containers and / or to monitor the transport of the containers as container mass flow and / or to monitor the processing of the containers in the beverage processing plant, for example to remove containers that have fallen over on the conveyor or a jam to recognize.
  • the containers can be transported with the transporter to the inspection unit as the container mass flow, preferably as a single-lane container mass flow. However, a multi-lane container mass flow is also conceivable.
  • the conveyor can comprise a carousel and / or a linear conveyor. It is conceivable, for example, that the transporter comprises a conveyor belt on which the containers are transported standing in an inspection area of the inspection unit. Also conceivable are receiving elements that accommodate one or more containers during transport.
  • the containers can also be transported held by side straps if, for example, the lighting shines through the container base and the camera inspects the base through the container mouth.
  • the inspection unit can be designed as an optical inspection unit, in particular with a lighting device and / or with a camera, in order to pass through and / or close the containers illuminate.
  • the light can be generated with at least one light source, for example with a light bulb, a fluorescent tube and / or with at least one LED in order to backlight a light exit surface.
  • the light can preferably be generated with a matrix of LEDs and emitted in the direction of the light exit surface.
  • the light exit surface can be made larger than the camera view of the container. It is also conceivable that the light exit surface only illuminates part of the camera view of the container.
  • the light exit surface can partially or completely diffuse the light.
  • the light exit surface can preferably comprise a diffusing screen with which the light from the at least one light source is diffusely scattered over a large area towards the camera. It is conceivable that the light is generated by the lighting device, then shines through the container and / or reflected therefrom and is then captured by the camera.
  • the camera can in each case capture a partial area of a container, exactly one container or several containers and optionally the light transmitted or reflected over them with an objective and with an image sensor.
  • the image sensor can be, for example, a CMOS or a CCD sensor. It is conceivable that the camera transmits the camera images with a data interface to the first and / or the second evaluation unit.
  • the containers can each be captured in the camera images from one or more image perspectives.
  • the camera can detect the polarization property, the intensity property, the color property and / or the phase property of the light for each pixel of the camera images.
  • the first and / or second evaluation unit can process the camera images with a signal processor and / or with a CPU (Central Processing Unit) and / or GPU (Graphics Processing Unit) and / or with a TPU (Tensor Processing Unit) and / or with a VPU (Vision Processing Unit). It is also conceivable that the first and / or second evaluation unit comprises a memory unit, one or more data interfaces, for example a network interface, a display unit and / or an input unit.
  • the conventionally operating image processing method and / or the image processing method operating on the basis of artificial intelligence can be present as a computer program product in the first and / or second evaluation unit, in particular in the respective memory unit.
  • “Conventionally working image processing method” can mean here that the conventionally working image processing method is not based on artificial intelligence. In particular, this can mean that the conventionally operating image processing method does not include a method step with a neural network, in particular no method step with a deep neural network. It is also conceivable that this means that the conventionally working image processing method evaluates the camera images with transformation, point, neighborhood, filter, histogram, threshold value, brightness and / or contrast operations in order to create image areas directly in the camera images to recognize who have the errors.
  • defect containers can be meant containers that contain a defect.
  • Error markings can mean here that a list of the error images with an assigned error description is provided. This can also mean that the error markings are entered in the metadata of the respective error images. In general, this can mean any indicator that the error image shows an error. This can also mean the error coordinates of the errors in the error images, for example the coordinate of a contamination.
  • approved containers can be meant containers without errors or with a tolerable deviation.
  • Image processing method working on the basis of artificial intelligence can mean here that the image processing method working on the basis of artificial intelligence comprises at least one method step with a neural network, in particular with a deep neural network.
  • a neural network in particular with a deep neural network.
  • it can be a so-called folding neural network with at least one folding layer and with a pooling layer.
  • “On site” can mean that the second evaluation unit is trained with the training data set on site at the operator of the beverage processing system, in particular on site in the beverage processing system.
  • the second evaluation unit trains with the image processing method based on artificial intelligence at a manufacturer of the beverage processing system with a generic training data set and that then in a second step the second evaluation unit with the image that works on the basis of artificial intelligence processing method is trained on site with the specific training data set.
  • the second evaluation unit can initially be trained with data available at the manufacturer of the beverage processing system and then further trained on site in the beverage processing system.
  • the manufacturer of the second evaluation unit can also mean the manufacturer of the beverage processing system, the inspection unit and / or the first evaluation unit.
  • the “generic training data set” can mean a compilation of error images, error markings and / or error-free images with container types known from the manufacturer of the second evaluation unit.
  • the specific training data set can be the Error images, the error markings and the error-free container of the container types known to the operator of the beverage processing plant.
  • the training of the second evaluation unit takes place with a lower priority than the detection of the containers with the inspection unit and / or the inspection of the camera images with the first evaluation unit in order to use unused resources of a computer system during the inspection.
  • the training can take place during the inspection of the containers without the acquisition of the camera images and / or the resources used during the inspection with the first evaluation unit being impaired.
  • the computer system can thus be used particularly effectively.
  • the computer system can be a machine control or a PC.
  • “Lower priority” can mean a processing priority by the computer system.
  • a recognition performance of the second evaluation unit is determined on the basis of a verification data set and, if the recognition performance exceeds a predetermined threshold value, that the camera images are inspected for errors by the second evaluation unit using the image processing method based on artificial intelligence.
  • the first evaluation unit can automatically switch from the inspection to the second evaluation unit.
  • the checking data record can contain further error images, error markings and / or error-free images which are not contained in the specific training data record and / or in the generic training data record. As a result, it can be checked whether the image processing method working on the basis of artificial intelligence also works reliably for containers that were not recorded for the generic or specific training data set.
  • the camera images are inspected by the second evaluation unit instead of the first evaluation unit.
  • the resources can be used particularly efficiently for the second evaluation unit.
  • the camera images are additionally inspected by the first evaluation unit in parallel to the second evaluation unit in order to detect unknown errors with the aid of the conventionally operating image processing method for the image processing method based on artificial intelligence.
  • errors still unknown for the image processing method working on the basis of artificial intelligence can be meant errors that are not considered error images and / or for the specific training data set. the assigned error markings have been classified and compiled.
  • the evaluation sensitivity of the first evaluation unit can be reduced or set to standard parameters in order to prevent false rejections.
  • Those of the camera images with containers with the unknown errors can be classified as further error images and the unknown errors can be assigned to the further error images as further error markings, whereby the further error images and the further error markings can be compiled as a further specific training data set, and with The second evaluation unit can be trained with the image processing method based on artificial intelligence on the basis of the further specific training data set on site.
  • the recognition performance of the second evaluation unit with the image processing method based on artificial intelligence can be increased further. It is conceivable that the parallel inspection of the camera images with the first evaluation unit and the second evaluation unit, the classification of those camera images with the containers with the unknown errors, the compilation of the further specific training data set, and the further training of the image processing method based on artificial intelligence. rens continues iteratively on site, in particular until a further recognition performance determined for the second evaluation unit exceeds a predetermined further threshold value.
  • the invention provides a device for the optical inspection of containers in a beverage processing plant with the features of claim 10 ready for solving the above-mentioned problem.
  • Advantageous embodiments of the invention are mentioned in the subclaims.
  • the device can be designed to carry out the method according to any one of claims 1-9.
  • the device can include the features described above with reference to claims 1-9 individually or in any combination.
  • the classification unit is designed to classify those of the camera images with the faulty containers as faulty images and to assign the faults accordingly as fault markings to the faulty images, and to classify those of the camera images with the containers found to be good as faultless images, a large Number of error images and error-free images based on the conventional image processing method to be provided. This can be done, for example, in the beverage processing system with container types in which the conventional image processing method was set up and thus works particularly reliably. Because the classification unit is designed to compile the error images, the error markings and the error-free images as a specific training data set, the specific training data set for training the second evaluation unit can be provided as automatically as possible, whereby the method is particularly time-efficient and therefore cost-effective.
  • the second evaluation unit can be designed to inspect the camera images for errors using the image processing method based on artificial intelligence.
  • the first evaluation unit can automatically switch to the second evaluation unit in order to inspect the camera images from the second evaluation unit for errors using the image processing method based on artificial intelligence.
  • the first evaluation unit and the second evaluation unit inspect the camera images parallel to one another in order to increase an overall detection rate.
  • the device can be arranged in the beverage processing plant. Consequently, the second evaluation unit is trained with the image processing method based on artificial intelligence on site at the beverage manufacturer. “On site” can therefore mean that the second evaluation unit is trained on site at the beverage manufacturer with the training data set.
  • the device can comprise a computer system with the first evaluation unit and the second evaluation unit.
  • the first evaluation unit and the second evaluation unit can be implemented as a computer program product.
  • the computer system includes the classification unit.
  • the classification unit can also be implemented as a computer program product.
  • the computer system can comprise the signal processor and / or the CPU (Central Processing Unit) and / or the GPU (Graphics Processing Unit) and / or the TPU (Tensor Processing Unit) and / or the VPU (Vision Processing Unit).
  • the computer system comprises the storage unit, which provide one or more data interfaces, the network interface, the display unit and / or the input unit.
  • the inspection unit, the first evaluation unit, the second evaluation unit and / or the classification unit can be connected to one another via a digital data link, in particular around the camera images, the error images, the error markings, the error-free images, the specific training data set and / or the generic training data set transferred to.
  • Figure 1 shows an inventive embodiment of a device for optical
  • FIGS. 2A-2B show an exemplary embodiment according to the invention of a method for the optical inspection of containers in a beverage processing plant as a flow diagram.
  • FIG. 1 an exemplary embodiment according to the invention of a device 1 for the optical inspection of containers 2 in a beverage processing system A is shown as a top view.
  • the device 1 is designed to carry out the method 100 in FIGS. 2A-2B described below.
  • the containers 2 are first transferred with the inlet star 9 to the filler 6 and are filled there with a flowable product.
  • the filler 6 comprises, for example, a carousel with filling elements arranged thereon (not shown here) with which the containers 2 are filled with the flowable product during transport. Subsequently, the containers 2 are transferred to the closer 7 via the intermediate star 10 and see there with a closure, for example with a cork, crown cap or with a screw cap.
  • a closure for example with a cork, crown cap or with a screw cap.
  • the containers 2 are then transferred via the discharge star 11 to the conveyor 3, which transports the containers 2 as a container mass flow to the inspection unit 4.
  • the Transpor teur is designed here as an example of a conveyor belt on which the container 2 are transported upright.
  • the inspection unit 4 arranged thereon comprises the lighting device 42 and the camera 41, with which the containers 2 can be detected in transmitted light.
  • the lighting device 42 has, for example, a diffusing light exit disk which is backlit with several LEDs and which thus forms a luminous image background for the container 2 from the perspective of the camera 41.
  • the containers 2 are then captured as camera images with the camera 41 and forwarded to the computer system 5 as a digital data signal.
  • the containers 2 are detected with a different lighting device in incident light.
  • the computer system 5 with the first evaluation unit 51, the second evaluation unit 52 and with the classification unit 53 can be seen.
  • the computer system 5 comprises, for example, a CPU, a memory unit, an input and output unit and a network interface. Accordingly, the first evaluation unit 51, the second evaluation unit 52 and the classification unit 53 are implemented as a computer program product in the computer system 5.
  • the first evaluation unit 51 is designed to inspect the camera images for errors using a conventional image processing method, for example for the fill level and / or soiling.
  • the classification unit 53 is designed to classify those of the camera images with the defective containers as defect images, to assign the defects as defect markings to the defect images and to classify those of the camera images with the containers as good as defect-free images.
  • the classification unit 53 is designed to compile the error images, the error markings and the error-free images as a specific training data set.
  • the second evaluation unit 52 is designed to carry out an image processing method based on artificial intelligence and to train it on site with the specific training data set.
  • the camera images of the containers 2 are first recorded with the first evaluation unit 51 and classified by means of the classification unit 53 so that the specific training data set can be compiled therefrom.
  • the second evaluation unit 52 is then trained on site in the beverage processing plant A with the specific training data set.
  • the inspection can then alternatively or additionally take place with the aid of the second evaluation unit 52.
  • the second evaluation unit 52 is designed to inspect the camera images for errors using the image processing method based on artificial intelligence.
  • the error-free containers 2 are then fed to further processing steps, for example a palletizer.
  • faulty containers are discharged from the container mass flow using a Wei surface and then recycled or disposed of.
  • the mode of operation of the first evaluation unit 51, the second evaluation unit 52 and the classification unit 53 are described in more detail below with reference to FIGS. 2A-2B.
  • FIGS. 2A-2B show an exemplary embodiment according to the invention of a method 100 for the optical inspection of containers 2 in a beverage processing system A as a flow chart.
  • the method 100 is described merely by way of example with reference to the device 1 for optical inspection described above with reference to FIG. 1.
  • step 101 the containers 2 are transported by the conveyor 3 as a container mass flow. This is done, for example, by means of a conveyor belt or a carousel.
  • the containers 2 are captured as camera images by the inspection unit 4 arranged in the beverage processing system.
  • the containers 2 are illuminated, for example, with the lighting unit 42 and captured in transmitted light with the camera 41 as a camera image.
  • the containers 2 are additionally or alternatively illuminated in incident light and captured as camera images with the camera 41.
  • the camera images are then inspected for errors in step 103 by the first evaluation unit 51 using a conventionally operating image processing method.
  • the “conventionally working image processing method” here means a method without artificial intelligence, for example in that the camera images are evaluated using filter and threshold value operations in order to detect errors, such as an incorrect fill level and / or contamination.
  • an edge filter is used, for example, with which the surface of the liquid product can be filtered out of the camera images.
  • step 104 those of the camera images with the faulty containers 2 are classified as fault images and the faults are assigned to the fault images accordingly as fault markings.
  • a fill level and / or an error indicator can be entered as an error marker in the error images, in particular in their metadata.
  • step 105 the classification unit 53 classifies those of the camera plates with the containers 2 found to be good as error-free images.
  • the error images, the error markings and the error-free images are then compiled as a specific training data set (step 106).
  • steps 104 - 106 are carried out with the classification unit 53, for example.
  • the second evaluation unit 52 is trained on site with the specific training data set using the image processing method that works on the basis of artificial intelligence. For example, a deep neural network of the second evaluation unit is trained with the specific training data set.
  • the second evaluation unit 52 with the image processing method working on the basis of artificial intelligence is already trained beforehand at the manufacturer of the beverage processing system with a generic training data set available there.
  • already known container types and error images can be imported at the manufacturer of the beverage processing system in order to train the image processing method working on the basis of artificial intelligence beforehand and then to continue training with the specific training data set on site in the beverage processing system A.
  • the image processing method which works on the basis of artificial intelligence, is further trained on the specific container types available at the beverage manufacturer.
  • the recognition performance of the second evaluation unit 52 is determined on the basis of a verification data set.
  • the checking data set can comprise further error images, error markings and error-free images which are not present either in the generic training data set or in the specific training data set. Consequently, it can therefore be determined whether the second evaluation unit is working reliably.
  • step 111 the camera images can be inspected for errors by the second evaluation unit 52 using the image processing method based on artificial intelligence. This can be done either as an alternative or in addition to the evaluation with the first evaluation unit 51.
  • the artificial intelligence makes it possible to ensure reliable recognition performance without the need for complex parameterization of the classic image processing methods by an expert.
  • the camera images are additionally inspected by the first evaluation unit 51 parallel to the second evaluation unit 52, still unknown errors can be detected with the aid of the conventionally operating image processing method for the image processing method based on artificial intelligence.
  • the evaluation sensitivity of the first evaluation unit 51 can thereby reduce changed or set to standard parameters to prevent false rejection. It is conceivable that those of the camera images with containers 2 with the unknown errors are classified as further error images and the unknown errors are correspondingly assigned to the further error images as further error markings, the further error images and the further error markings being compiled as a further specific training data set the, and with the further specific training data set on site, the second evaluation unit 52 is trained further with the image processing method working on the basis of artificial intelligence. As a result, the recognition performance of the second evaluation unit 52 with the image processing method based on artificial intelligence can be increased further.
  • the camera images are still inspected for errors by the first evaluation unit 51 according to step 110 using the conventionally operating image processing method.
  • the classification unit 53 can further classify the camera images according to steps 104 and 105 and add further error images, error markings and error-free images to the specific training data set or create a further specific training data set.
  • the second evaluation unit 52 can then be trained further in accordance with step 108 until the recognition performance in step 110 exceeds the predetermined threshold value.
  • the training of the second evaluation unit 52 in step 108 takes place with a lower priority than the detection of the containers with the inspection unit 4 in step 102 and / or the inspection of the camera images with the first evaluation unit 51 in step 103 to use unused resources of a computer system 5 for the inspection.
  • the fact that the camera images with the defective containers 2 are classified as defective images and the defects are assigned to the defective images as defective markings, and that those of the camera images with the containers 2 found to be good are classified as error-free images, can result in a large number of defective images and error-free images can be provided on the basis of the conventional image processing method.
  • This can be done, for example, in the beverage processing system A with container types in which the conventionally operating image processing method has been set up and thus works particularly reliably.
  • a specific training data set is then compiled from the error images, the error markings and the error-free images, and the second evaluation unit 52 is trained on site with the image processing method based on artificial intelligence.
  • the specific training data set can be provided automatically as far as possible, as a result of which the method 100 works in a particularly time-efficient and thus cost-effective manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method (100) for optically inspecting containers in a drinks processing system, wherein the containers are transported as a container mass flow using a transporter (101) and captured as camera images by an inspection unit arranged in the drinks processing system (102), and wherein the camera images are inspected for faults by a first evaluation unit using a conventional image processing method (103), wherein the camera images with faulty containers are classified as fault images and the faults are correspondingly assigned to the fault images as fault markings (104), wherein the camera images with containers considered to be good quality are classified as fault-free images (105), the fault images, the fault markings and the fault-free images are compiled as a specific training data set (106), and wherein, using the specific training data set, a second evaluation unit is trained in situ with an image processing method working on the basis of artificial intelligence (108).

Description

Verfahren und Vorrichtung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage Method and device for the optical inspection of containers in a beverage processing plant
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage mit den Merkmalen des Oberbegriffs von Anspruch 1 bzw. 10. The invention relates to a method and a device for the optical inspection of containers in a beverage processing plant with the features of the preamble of claims 1 and 10, respectively.
Üblicherweise werden derartige Verfahren und Vorrichtungen dazu eingesetzt, die Behälter bei spielsweise auf Verschmutzungen und/oder Fehler hin zu inspizieren. Dazu werden die Behälter mit einem Transporteur als Behältermassenstrom transportiert und von einer in der Getränkever arbeitungsanlage angeordneten Inspektionseinheit als Kamerabilder erfasst. Die Kamerabilder werden dann von einer ersten Auswerteeinheit mit konventionell arbeitenden Bildverarbeitungs verfahren auf Fehler hin inspiziert. Wird nun ein Fehler, wie beispielsweise eine Verschmutzung oder ein Defekt an einem Behälter erkannt, so wird er gereinigt oder recycelt. Usually, such methods and devices are used to inspect the container for contamination and / or defects, for example. For this purpose, the containers are transported with a conveyor as a container mass flow and recorded as camera images by an inspection unit arranged in the beverage processing system. The camera images are then inspected for errors by a first evaluation unit using conventional image processing methods. If an error, such as contamination or a defect in a container, is recognized, it is cleaned or recycled.
Beispielsweise kommen derartige Verfahren und Vorrichtungen zur optischen Inspektion von Be hältern bei der Seitenwand-, Boden-und/oder Füllhöheninspektion von Leerbehältern oder bereits mit einem Produkt befüllten Behältern zum Einsatz. Denkbar ist auch, dass derartige Verfahren und Vorrichtungen zur optischen Inspektion von Behältern in Getränkeverarbeitungsanlagen dazu eingesetzt werden, um Verarbeitungsfehler während der Behandlung in der Getränkeverarbei tungsanlage zu erkennen. Beispielsweise, ob ein Behälter beim T ransport umgefallen ist oder sich ein Stau bildet. For example, such methods and devices for the optical inspection of containers are used in the side wall, base and / or fill level inspection of empty containers or containers already filled with a product. It is also conceivable that such methods and devices for the optical inspection of containers in beverage processing plants are used to detect processing errors during treatment in the beverage processing plant. For example, whether a container has fallen over during transport or a jam is forming.
Die DE 10 2014 216188 A1 offenbart ein optisches Inspektionsverfahren und eine optische In spektionsvorrichtung für Behälter. DE 10 2014 216188 A1 discloses an optical inspection method and an optical inspection device for containers.
Üblicherweise werden die Kamerabilder durch konventionell arbeitende Bildverarbeitungsverfah ren mit Transformations-, Punkt-, Nachbarschafts-, Filter-, Histogramm-, Schwellwert-, Helligkeits und/oder Kontrastoperationen ausgewertet, um damit unmittelbar in den Kamerabildern Bildberei che zu detektierten, die die Verschmutzungen und/oder Fehler aufweisen. Usually, the camera images are evaluated by conventional image processing methods with transformation, point, neighborhood, filter, histogram, threshold, brightness and / or contrast operations in order to detect image areas in the camera images that contain dirt and / or have errors.
Nachteilig dabei ist, dass konventionelle arbeitende Bildverarbeitungsverfahren üblicherweise durch Experten auf die verschiedenen Behältertypen eingerichtet werden müssen, die mit der Getränkeverarbeitungsanlage behandelt werden, was zeit- und kostenaufwändig ist. Ferner werden zur Auswertung von Kamerabildern vermehrt Bildverarbeitungsverfahren einge setzt, die auf künstlicher Intelligenz basieren, beispielsweise ein neuronales Netzwerk, insbeson dere ein tiefes neuronales Netzwerk. The disadvantage here is that conventional image processing methods usually have to be set up by experts for the various types of containers that are treated with the beverage processing system, which is time-consuming and costly. Furthermore, image processing methods based on artificial intelligence, for example a neural network, in particular a deep neural network, are increasingly being used to evaluate camera images.
Nachteilig dabei ist, dass derartige neuronale bzw. tiefe neuronale Netzwerke mit einem Trai ningsdatensatz trainiert werden müssen, der 1000 - 10000 oder sogar mehr markierte Bilder um fasst, in denen beispielsweise jeweils die Fehler markiert sind. Die Markierung erfolgt üblicher weise durch Bildverarbeitungsexperten und/oder geschulte Mitarbeiter beim Hersteller der Ge tränkeverarbeitungsanlage. Dies ist ebenfalls zeit- und kostenintensiv. The disadvantage here is that such neural or deep neural networks have to be trained with a training data set which comprises 1000-10,000 or even more marked images in which, for example, the errors are marked. The marking is usually done by image processing experts and / or trained employees at the manufacturer of the beverage processing system. This is also time-consuming and costly.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur opti schen Inspektion von Behältern in einer Getränkeverarbeitungsanlage bereitzustellen, bei der das Einrichten des Bildverarbeitungsverfahren weniger zeit- und kostenintensiv ist. The object of the present invention is therefore to provide a method and a device for the optical inspection of containers in a beverage processing plant, in which setting up the image processing method is less time-consuming and costly.
Zur Lösung dieser Aufgabenstellung stellt die Erfindung ein Verfahren zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage mit den Merkmalen des Anspruchs 1 bereit. Vorteilhafte Ausführungsformen sind in den Unteransprüchen genannt. To solve this problem, the invention provides a method for the optical inspection of containers in a beverage processing plant with the features of claim 1. Advantageous embodiments are mentioned in the subclaims.
Dadurch, dass die Kamerabilder mit den fehlerhaften Behältern als Fehlerbilder klassifiziert und die Fehler entsprechend als Fehlermarkierungen den Fehlerbildern zugeordnet werden, und dass diejenigen der Kamerabilder mit für gut befundenen Behältern als fehlerfrei Bilder klassifiziert wer den, kann eine große Anzahl von Fehlerbildern und fehlerfreien Bildern auf Basis des konventio nell arbeitenden Bildverarbeitungsverfahren bereitgestellt werden. Dies kann beispielsweise in der Getränkeverarbeitungsanlage mit Behältertypen geschehen, bei denen das konventionell arbei tende Bildverarbeitungsverfahren eingerichtet wurde und so besonders zuverlässig arbeitet. An schließend wird aus den Fehlerbildern, den Fehlermarkierungen und den fehlerfreien Bildern ein spezifischer Trainingsdatensatz zusammengestellt und damit vor Ort die zweite Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren trainiert. Folglich kann der spezifische Trainingsdatensatz weitestgehend automatisch bereitgestellt werden, wodurch das Verfahren besonders zeit- und damit kosteneffektiv arbeitet. Because the camera images with the defective containers are classified as error images and the errors are assigned to the error images as error markings, and because those of the camera images with the containers found to be good are classified as error-free images, a large number of error images and error-free images can occur Basis of the conventionally working image processing method are provided. This can be done, for example, in the beverage processing plant with container types in which the conventionally working image processing method has been set up and thus works particularly reliably. A specific training data set is then compiled from the error images, the error markings and the error-free images, and the second evaluation unit is trained on site with the image processing method based on artificial intelligence. As a result, the specific training data set can be provided automatically to the greatest possible extent, as a result of which the method is particularly time-efficient and therefore cost-effective.
Das Verfahren zur optischen Inspektion kann einem Behälterherstellungsverfahren, Reinigungs verfahren, Füll- und/oder Verschlussverfahren vor-, nach oder zugeordnet sein. Beispielsweise kann das Verfahren in einer Vollflaschen- oder Leerflascheninspektionsmaschine eingesetzt wer den, die die Inspektionseinheit umfasst. Die Behälter können dazu vorgesehen sein, Getränke, Nahrungsmittel, Hygieneartikel, Pasten, chemische, biologische und/oder pharmazeutische Produkte aufzunehmen. Die Behälter können als Flaschen, insbesondere als Kunststoffflaschen oder Glasflaschen ausgebildet sein. Bei Kunst stoffflaschen kann es sich im speziellen um PET-, PEN-, HD-PE oder PP-Flaschen handeln. Denkbar ist auch, dass es sich bei den Behältern um Vorformlinge zur Herstellung der Kunststoff flaschen handelt. Ebenso kann es sich um biologisch abbaubare Behälter oder Flaschen handeln, deren Hauptbestandteile aus nachwachsenden Rohstoffen, wie zum Beispiel Zuckerrohr, Weizen oder Mais bestehen. Die Behälter können mit einem Verschluss versehen sein, beispielsweise mit einem Kronkorken, Schraubverschluss, Abreißverschluss oder dergleichen. Ebenso können die Behälter als Leergut vorzugsweise ohne Verschluss vorliegen. The method for optical inspection can be assigned to a container manufacturing method, cleaning method, filling and / or closing method before, after or. For example, the method can be used in a full bottle or empty bottle inspection machine that includes the inspection unit. The containers can be provided to hold beverages, food, hygiene articles, pastes, chemical, biological and / or pharmaceutical products. The containers can be designed as bottles, in particular as plastic bottles or glass bottles. Plastic bottles can in particular be PET, PEN, HD-PE or PP bottles. It is also conceivable that the containers are preforms for producing the plastic bottles. They can also be biodegradable containers or bottles, the main components of which are made from renewable raw materials such as sugar cane, wheat or corn. The containers can be provided with a closure, for example with a crown cap, screw cap, zip fastener or the like. The containers can also be present as empties, preferably without a closure.
Denkbar ist, dass das Verfahren zur Seitenwand-, Boden-, Mündungs-, Inhalts- und/oder Füllhö henkontrolle der Behälter eingesetzt wird. Bei den Fehlern kann es sich um Verschmutzungen, wie beispielswese Fremdkörper, Produktreste, Reste von Etiketten und/oder dergleichen handeln. Es kann sich auch um Defekte, wie beispielsweise um Beschädigungen an den Behältern, insbe sondere Risse und/oder abgeplatztes Glas handeln. Ebenso ist denkbar, dass es sich um fehler haft produzierte Materialstellen, wie beispielsweise lokale Materialverdünnungen und/oder -Verdi ckungen handelt. Denkbar ist auch, dass das Verfahren zur Inspektion von zurückgenommenen Mehrwegbehältern und/oder zur Überwachung des Transports der Behälter als Behältermassen strom und/oder zur Überwachung der Verarbeitung der Behälter in der Getränkeverarbeitungsan lage eingesetzt wird, beispielsweise um umgefallene Behälter auf dem Transporteur oder einen Stau zu erkennen. It is conceivable that the method is used for side wall, floor, mouth, content and / or filling height control of the container. The errors can be soiling, such as foreign bodies, product residues, residues of labels and / or the like. It can also be defects, such as damage to the containers, in particular special cracks and / or chipped glass. It is also conceivable that the material locations are incorrectly produced, such as, for example, local material thinning and / or thickening. It is also conceivable that the method is used to inspect returned reusable containers and / or to monitor the transport of the containers as container mass flow and / or to monitor the processing of the containers in the beverage processing plant, for example to remove containers that have fallen over on the conveyor or a jam to recognize.
Die Behälter können mit dem T ransporteur zu der Inspektionseinheit als der Behältermassenstrom transportiert werden, vorzugsweise als einbahniger Behältermassenstrom. Denkbar ist jedoch auch ein mehrbahniger Behältermassenstrom. Der Transporteur kann ein Karussell und/oder ei nen Lineartransporteur umfassen. Denkbar ist beispielsweise, dass der Transporteur ein Förder band umfasst, auf dem die Behälter stehend in einem Inspektionsbereich der Inspektionseinheit transportiert werden. Denkbar sind auch Aufnahmeelemente, die ein oder mehrere Behälter wäh rend des Transports aufnehmen. Die Behälter können auch durch seitliche Riemen gehalten transportiert werden, wenn zum Beispiel die Beleuchtung den Behälterboden durchleuchtet und die Kamera durch die Behältermündung den Boden inspiziert. The containers can be transported with the transporter to the inspection unit as the container mass flow, preferably as a single-lane container mass flow. However, a multi-lane container mass flow is also conceivable. The conveyor can comprise a carousel and / or a linear conveyor. It is conceivable, for example, that the transporter comprises a conveyor belt on which the containers are transported standing in an inspection area of the inspection unit. Also conceivable are receiving elements that accommodate one or more containers during transport. The containers can also be transported held by side straps if, for example, the lighting shines through the container base and the camera inspects the base through the container mouth.
Die Inspektionseinheit kann als optische Inspektionseinheit ausgebildet sein, insbesondere mit einer Beleuchtungseinrichtung und/oder mit einer Kamera, um die Behälter zu durch- und/oder zu beleuchten. Bei der Beleuchtungseinrichtung kann das Licht mit wenigstens einer Lichtquelle er zeugt werden, beispielsweise mit einer Glühbirne, einer Leuchtstoffröhre und/oder mit wenigstens einer LED, um eine Lichtaustrittsfläche zu hinterleuchten. Vorzugsweise kann das Licht mit einer Matrix aus LEDs erzeugt und in Richtung der Lichtaustrittsfläche abgestrahlt werden. Die Licht austrittsfläche kann größer ausgebildet sein, als die Kameraansicht des Behälters. Ebenso ist denkbar, dass die Lichtaustrittsfläche lediglich einen Teil der Kameraansicht des Behälters be leuchtet. Die Lichtaustrittsfläche kann das Licht teilweise oder vollständig diffus abstrahlen. Vor zugsweise kann die Lichtaustrittsfläche eine Streuscheibe umfassen, mit der das Licht von der wenigstens einen Lichtquelle zur Kamera hin flächig diffus gestreut wird. Denkbar ist, dass das Licht von der Beleuchtungseinrichtung erzeugt wird, anschließend die Behälter durchleuchtet und/oder davon reflektiert und dann von der Kamera erfasst wird. The inspection unit can be designed as an optical inspection unit, in particular with a lighting device and / or with a camera, in order to pass through and / or close the containers illuminate. In the case of the lighting device, the light can be generated with at least one light source, for example with a light bulb, a fluorescent tube and / or with at least one LED in order to backlight a light exit surface. The light can preferably be generated with a matrix of LEDs and emitted in the direction of the light exit surface. The light exit surface can be made larger than the camera view of the container. It is also conceivable that the light exit surface only illuminates part of the camera view of the container. The light exit surface can partially or completely diffuse the light. The light exit surface can preferably comprise a diffusing screen with which the light from the at least one light source is diffusely scattered over a large area towards the camera. It is conceivable that the light is generated by the lighting device, then shines through the container and / or reflected therefrom and is then captured by the camera.
Die Kamera kann jeweils einen Teilbereich eines Behälters, genau einen Behälter oder mehrere Behälter und optional das darüber transmittierte oder reflektierte Licht mit einem Objektiv und mit einem Bildsensor erfassen. Der Bildsensor kann beispielsweise ein CMOS oder ein CCD-Sensor sein. Denkbar ist, dass die Kamera die Kamerabilder mit einer Datenschnittstelle zur ersten und/o der zweiten Auswerteeinheit hin überträgt. The camera can in each case capture a partial area of a container, exactly one container or several containers and optionally the light transmitted or reflected over them with an objective and with an image sensor. The image sensor can be, for example, a CMOS or a CCD sensor. It is conceivable that the camera transmits the camera images with a data interface to the first and / or the second evaluation unit.
Die Behälter können jeweils in den Kamerabildern aus einer oder mehreren Bildperspektiven er fasstwerden. Die Kamera kann für jeden Bildpunkt der Kamerabilder die Polarisationseigenschaft, die Intensitätseigenschaft, die Farbeigenschaft und/oder die Phaseneigenschaft des Lichts erfas sen. The containers can each be captured in the camera images from one or more image perspectives. The camera can detect the polarization property, the intensity property, the color property and / or the phase property of the light for each pixel of the camera images.
Die erste und/oder zweite Auswerteeinheit kann die Kamerabilder mit einem Signalprozessor und/oder mit einer CPU (Central Processing Unit) und/oder GPU (Graphics Processing Unit) und/oder mit einer TPU (Tensor Processing Unit) und/oder mit einer VPU (Vision Processing Unit) verarbeiten. Denkbar ist auch, dass die erste und/oder zweite Auswerteeinheit eine Speicherein heit, eine oder mehrere Datenschnittstellen, beispielsweise eine Netzwerkschnittstelle, eine An zeigeeinheit und/oder eine Eingabeeinheit umfasst. Das konventionell arbeitende Bildverarbei tungsverfahren und/oder das auf Basis künstlicher Intelligenz arbeitende Bildverarbeitungsverfah ren kann als Computerprogrammprodukt in der ersten und/oder zweiten Auswerteeinheit vorhan den sein, insbesondere in der jeweiligen Speichereinheit. The first and / or second evaluation unit can process the camera images with a signal processor and / or with a CPU (Central Processing Unit) and / or GPU (Graphics Processing Unit) and / or with a TPU (Tensor Processing Unit) and / or with a VPU (Vision Processing Unit). It is also conceivable that the first and / or second evaluation unit comprises a memory unit, one or more data interfaces, for example a network interface, a display unit and / or an input unit. The conventionally operating image processing method and / or the image processing method operating on the basis of artificial intelligence can be present as a computer program product in the first and / or second evaluation unit, in particular in the respective memory unit.
„Konventionell arbeitendes Bildverarbeitungsverfahren“ kann hier bedeuten, dass das konventio nell arbeitende Bildverarbeitungsverfahren nicht auf künstlicher Intelligenz basiert. Insbesondere kann dies bedeuten, dass das konventionell arbeitende Bildverarbeitungsverfahren keinen Ver fahrensschritt mit einem neuronales Netzwerk umfasst, insbesondere keinen Verfahrensschritt mit einem tiefen neuronalen Netzwerk. Denkbar ist auch, dass dies bedeutet, dass das konventionell arbeitende Bildverarbeitungsverfahren die Kamerabilder mit Transformations-, Punkt-, Nachbar schafts-, Filter-, Histogramm-, Schwellwert-, Helligkeits- und/oder Kontrastoperationen auswertet, um damit unmittelbar in den Kamerabildern Bildbereiche zu erkennen, die die Fehler aufweisen.“Conventionally working image processing method” can mean here that the conventionally working image processing method is not based on artificial intelligence. In particular, this can mean that the conventionally operating image processing method does not include a method step with a neural network, in particular no method step with a deep neural network. It is also conceivable that this means that the conventionally working image processing method evaluates the camera images with transformation, point, neighborhood, filter, histogram, threshold value, brightness and / or contrast operations in order to create image areas directly in the camera images to recognize who have the errors.
Mit „fehlerhaften Behältern“ können Behälter gemeint sein, die einen Fehler umfassen. Mit „Feh lermarkierungen“ kann hier gemeint sein, dass eine Liste der Fehlerbilder mit zugeordneten Fehlerbeschreibung gestellt wird. Ebenso kann damit gemeint sein, dass die Fehlermarkierungen in den Metadaten der jeweiligen Fehlerbilder eingetragen werden. Ganz allgemein kann damit jeglicher Indikator gemeint sein, dass das Fehlerbild einen Fehler zeigt. Ebenso können damit Fehlerkoordinaten der Fehler in den Fehlerbildern gemeint sein, beispielsweise die Koordinate einer Verschmutzung. Mit „für gut befundenen Behältern“ können Behälter ohne Fehler oder mit einer tolerierbaren Abweichung gemeint sein. By "defective containers" can be meant containers that contain a defect. “Error markings” can mean here that a list of the error images with an assigned error description is provided. This can also mean that the error markings are entered in the metadata of the respective error images. In general, this can mean any indicator that the error image shows an error. This can also mean the error coordinates of the errors in the error images, for example the coordinate of a contamination. With "approved containers" can be meant containers without errors or with a tolerable deviation.
„Auf Basis künstlicher Intelligenz arbeitendes Bildverarbeitungsverfahren“ kann hier bedeuten, dass das auf Basis künstliche Intelligenz arbeitende Bildverarbeitungsverfahren wenigstens einen Verfahrensschritt mit einem neuronalen Netzwerk, insbesondere mit einem tiefen neuronalen Netzwerk umfasst. Beispielsweise kann es sich um ein sogenanntes faltendes neuronales Netz werk mit wenigstens einer faltenden Schicht und mit einer Poolingschicht handeln. “Image processing method working on the basis of artificial intelligence” can mean here that the image processing method working on the basis of artificial intelligence comprises at least one method step with a neural network, in particular with a deep neural network. For example, it can be a so-called folding neural network with at least one folding layer and with a pooling layer.
„Vor Ort“ kann bedeuten, dass die zweite Auswerteeinheit vor Ort beim Betreiber der Getränkever arbeitungsanlage mit dem Trainingsdatensatz trainiert wird, insbesondere vor Ort in der Geträn keverarbeitungsanlage. “On site” can mean that the second evaluation unit is trained with the training data set on site at the operator of the beverage processing system, in particular on site in the beverage processing system.
Denkbar ist, dass in einem ersten Schritt die zweite Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren bei einem Hersteller der Getränkeverarbei tungsanlage mit einem generischen Trainingsdatensatz trainiert und, dass danach in einem zwei ten Schritt die zweite Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bild verarbeitungsverfahren vor Ort mit dem spezifischen Trainingsdatensatz trainiert wird. Dadurch kann die zweite Auswerteeinheit zunächst mit beim Hersteller der Getränkeverarbeitungsanlage vorhandenen Daten trainiert und anschließend vorOrt in der Getränkeverarbeitungsanlage weiter trainiert werden. Folglich stehen also besonders umfangreiche Daten zum Training zur Verfügung. Mit Hersteller der zweiten Auswerteeinheit kann auch der Hersteller der Getränkeverarbeitungs anlage, der Inspektionseinheit und/oder der ersten Auswerteeinheit gemeint sein. Mit dem „gene rischen Trainingsdatensatz“ kann eine Zusammenstellung von Fehlerbildern, Fehlermarkierungen und/oder fehlerfreien Bildern mit beim Hersteller der zweiten Auswerteeinheit bekannten Behäl tertypen gemeint sein. Demgegenüber kann es sich beim spezifischen Trainingsdatensatz um die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Behälter der beim Betreiber der Geträn keverarbeitungsanlage bekannten Behältertypen handelt. It is conceivable that in a first step the second evaluation unit trains with the image processing method based on artificial intelligence at a manufacturer of the beverage processing system with a generic training data set and that then in a second step the second evaluation unit with the image that works on the basis of artificial intelligence processing method is trained on site with the specific training data set. As a result, the second evaluation unit can initially be trained with data available at the manufacturer of the beverage processing system and then further trained on site in the beverage processing system. As a result, particularly extensive data are available for training. The manufacturer of the second evaluation unit can also mean the manufacturer of the beverage processing system, the inspection unit and / or the first evaluation unit. The “generic training data set” can mean a compilation of error images, error markings and / or error-free images with container types known from the manufacturer of the second evaluation unit. In contrast, the specific training data set can be the Error images, the error markings and the error-free container of the container types known to the operator of the beverage processing plant.
Denkbar ist, dass das Trainieren der zweiten Auswerteeinheit mit niedrigerer Priorität erfolgt, als die Erfassung der Behälter mit der Inspektionseinheit und/oder die Inspektion der Kamerabilder mit der ersten Auswerteeinheit, um bei der Inspektion ungenutzte Ressourcen eines Computer systems zu nutzen. Dadurch kann das Trainieren während der Inspektion der Behälter erfolgen, ohne dass die Erfassung der Kamerabilder und/oder die bei der Inspektion mit der ersten Auswer teeinheit genutzten Ressourcen beeinträchtigt werden. Folglich kann so das Computersystem be sonders effektiv benutzt werden. Bei dem Computersystem kann es sich um eine Maschinensteu erung oder einen PC handeln. Mit „niedrigerer Priorität“ kann eine Verarbeitungspriorität durch das Computersystem gemeint sein. It is conceivable that the training of the second evaluation unit takes place with a lower priority than the detection of the containers with the inspection unit and / or the inspection of the camera images with the first evaluation unit in order to use unused resources of a computer system during the inspection. As a result, the training can take place during the inspection of the containers without the acquisition of the camera images and / or the resources used during the inspection with the first evaluation unit being impaired. As a result, the computer system can thus be used particularly effectively. The computer system can be a machine control or a PC. “Lower priority” can mean a processing priority by the computer system.
Denkbar ist, dass eine Erkennungsleistung der zweiten Auswerteeinheit auf Basis eines Überprü fungsdatensatzes ermittelt wird und falls die Erkennungsleistung einen vorbestimmten Schwell wert überschreitet, dass die Kamerabilder von der zweiten Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin inspiziert wer den. Dadurch kann automatisch bei Erreichen des vorbestimmten Schwellwerts von der Inspek tion durch die erste Auswerteeinheit auf die zweite Auswerteeinheit umgeschaltet werden. Der Überprüfungsdatensatz kann weitere Fehlerbilder, Fehlermarkierungen und/oder fehlerfreien Bil der enthalten, die nicht in dem spezifischen T rainingsdatensatz und/oder in dem generischen T rai- ningsdatensatz enthalten sind. Folglich kann überprüft werden, ob das auf Basis künstlicher Intel ligenz arbeitende Bildverarbeitungsverfahren auch für Behälter zuverlässig arbeitet, die nicht für den generischen bzw. spezifischen Trainingsdatensatz erfasst wurden. It is conceivable that a recognition performance of the second evaluation unit is determined on the basis of a verification data set and, if the recognition performance exceeds a predetermined threshold value, that the camera images are inspected for errors by the second evaluation unit using the image processing method based on artificial intelligence. As a result, when the predetermined threshold value is reached, the first evaluation unit can automatically switch from the inspection to the second evaluation unit. The checking data record can contain further error images, error markings and / or error-free images which are not contained in the specific training data record and / or in the generic training data record. As a result, it can be checked whether the image processing method working on the basis of artificial intelligence also works reliably for containers that were not recorded for the generic or specific training data set.
Denkbar ist, dass die Kamerabilder anstelle von der ersten Auswerteeinheit von der zweiten Aus werteeinheit inspiziert werden. Dadurch können die Ressourcen besonders effizient für die zweite Auswerteeinheit genutzt werden. It is conceivable that the camera images are inspected by the second evaluation unit instead of the first evaluation unit. As a result, the resources can be used particularly efficiently for the second evaluation unit.
Alternativ dazu ist denkbar, dass die Kamerabilder parallel zur zweiten Auswerteeinheit zusätzlich von der ersten Auswerteeinheit inspiziert werden, um mit Hilfe des konventionell arbeitenden Bild verarbeitungsverfahrens für das auf Basis künstlicher Intelligenz arbeitende Bildverarbeitungsver fahren noch unbekannte Fehler zu erkennen. Dadurch ist es möglich, zusätzlich auch die unbe kannten Fehler zu ermitteln und die Zuverlässigkeit der Auswertung zu erhöhen. Mit „für das auf Basis künstlicher Intelligenz arbeitende Bildverarbeitungsverfahren noch unbekannte Fehler“ kön nen Fehler gemeint sein, die für den spezifischen Trainingsdatensatz nicht als Fehlerbilder und/o- der zugeordnete Fehlermarkierungen klassifiziert und zusammengestellt wurden. Die Auswerte empfindlichkeit der ersten Auswerteeinheit kann dabei vermindert oder auf Standard parameter gesetzt werden, um Fehlausleitungen zu verhindern. Alternatively, it is conceivable that the camera images are additionally inspected by the first evaluation unit in parallel to the second evaluation unit in order to detect unknown errors with the aid of the conventionally operating image processing method for the image processing method based on artificial intelligence. This makes it possible to also determine the unknown errors and to increase the reliability of the evaluation. With "errors still unknown for the image processing method working on the basis of artificial intelligence" can be meant errors that are not considered error images and / or for the specific training data set. the assigned error markings have been classified and compiled. The evaluation sensitivity of the first evaluation unit can be reduced or set to standard parameters in order to prevent false rejections.
Es können diejenigen der Kamerabilder mit Behältern mit den unbekannten Fehlern als weitere Fehlerbilder klassifiziert und die unbekannten Fehler entsprechend als weitere Fehlermarkierun gen den weiteren Fehlerbildern zugeordnet werden, wobei die weiteren Fehlerbilder und die wei teren Fehlermarkierungen als weiterer spezifischer Trainingsdatensatz zusammengestellt werden können, und wobei mit dem weiteren spezifischen Trainingsdatensatz vor Ort die zweite Auswer teeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren trainiert werden kann. Dadurch kann die Erkennungsleistung der zweiten Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren weiter erhöht werden. Denk bar ist, dass die parallele Inspektion der Kamerabilder mit der ersten Auswerteeinheit und der zweiten Auswerteeinheit, die Klassifikation derjenigen Kamerabilder mit den Behältern mit den unbekannten Fehler, das Zusammenstellen des weiteren spezifischen Trainingsdatensatz, und das weitere Training des auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfah- rens vor Ort iterativ weiter erfolgt, insbesondere bis eine weitere für die zweite Auswerteeinheit ermittelte Erkennungsleistung einen vorbestimmten weiteren Schwellwert überschreitet. Those of the camera images with containers with the unknown errors can be classified as further error images and the unknown errors can be assigned to the further error images as further error markings, whereby the further error images and the further error markings can be compiled as a further specific training data set, and with The second evaluation unit can be trained with the image processing method based on artificial intelligence on the basis of the further specific training data set on site. As a result, the recognition performance of the second evaluation unit with the image processing method based on artificial intelligence can be increased further. It is conceivable that the parallel inspection of the camera images with the first evaluation unit and the second evaluation unit, the classification of those camera images with the containers with the unknown errors, the compilation of the further specific training data set, and the further training of the image processing method based on artificial intelligence. rens continues iteratively on site, in particular until a further recognition performance determined for the second evaluation unit exceeds a predetermined further threshold value.
Denkbar ist, dass die fehlerhaften Behälter aus dem Behälterstrom aussortiert werden. Dadurch können Sie von weiteren Behandlungsschritten ausgeschlossen und recycelt oder entsorgt wer den. It is conceivable that the faulty containers are sorted out from the container flow. This means that you can be excluded from further treatment steps and recycled or disposed of.
Des Weiteren stellt die Erfindung zur Lösung der oben genannten Aufgabenstellung eine Vorrich tung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage mit den Merk malen des Anspruchs 10 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unter ansprüchen genannt. Furthermore, the invention provides a device for the optical inspection of containers in a beverage processing plant with the features of claim 10 ready for solving the above-mentioned problem. Advantageous embodiments of the invention are mentioned in the subclaims.
Die Vorrichtung kann zur Durchführung des Verfahrens nach einem der Ansprüche 1-9 ausgebil det sein. Insbesondere kann die Vorrichtung die zuvor in Bezug auf die Ansprüche 1-9 beschrie benen Merkmale einzelnen oder in beliebigen Kombinationen sinngemäß umfassen. The device can be designed to carry out the method according to any one of claims 1-9. In particular, the device can include the features described above with reference to claims 1-9 individually or in any combination.
Dadurch, dass die Klassifizierungseinheit dazu ausgebildet ist, diejenigen der Kamerabilder mit den fehlerhaften Behältern als Fehlerbilder zu klassifizieren und die Fehler entsprechend als Feh lermarkierungen den Fehlerbildern zuzuordnen, und diejenigen der Kamerabilder mit für gut be fundenen Behältern als fehlerfrei Bilder zu klassifizieren, kann eine große Anzahl von Fehlerbil dern und fehlerfreien Bildern auf Basis des konventionell arbeitenden Bildverarbeitungsverfahren bereitgestellt werden. Dies kann beispielsweise in der Getränkeverarbeitungsanlage mit Behälter typen geschehen, bei denen das konventionell arbeitende Bildverarbeitungsverfahren eingerichtet wurde und so besonders zuverlässig arbeitet. Dadurch dass die Klassifizierungseinheit dazu aus gebildet ist, die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Bilder als spezifischer Trainingsdatensatz zusammenzustellen, kann der spezifische Trainingsdatensatz zum Training der zweiten Auswerteeinheit weitestgehend automatisch bereitgestellt werden, wodurch das Ver fahren besonders zeit- und damit kosteneffektiv arbeitet. Because the classification unit is designed to classify those of the camera images with the faulty containers as faulty images and to assign the faults accordingly as fault markings to the faulty images, and to classify those of the camera images with the containers found to be good as faultless images, a large Number of error images and error-free images based on the conventional image processing method to be provided. This can be done, for example, in the beverage processing system with container types in which the conventional image processing method was set up and thus works particularly reliably. Because the classification unit is designed to compile the error images, the error markings and the error-free images as a specific training data set, the specific training data set for training the second evaluation unit can be provided as automatically as possible, whereby the method is particularly time-efficient and therefore cost-effective.
Die zweite Auswerteeinheit kann dazu ausgebildet sein, die Kamerabilder mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin zu inspizieren. Dadurch kann dann beim Überschreiten des zuvor beschriebenen, vorbestimmten Schwellwerts von der ersten Auswerteeinheit auf die zweite Auswerteeinheit automatisch umgeschaltet werden, um die Kamerabilder von der zweiten Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin zu inspizieren. Denkbar ist jedoch auch, dass die erste Auswerteeinheit und die zweite Auswerteeinheit parallel zueinander die Kamerabi lder inspizieren, um eine Gesamterkennungsrate zu erhöhen. The second evaluation unit can be designed to inspect the camera images for errors using the image processing method based on artificial intelligence. As a result, when the predetermined threshold value described above is exceeded, the first evaluation unit can automatically switch to the second evaluation unit in order to inspect the camera images from the second evaluation unit for errors using the image processing method based on artificial intelligence. However, it is also conceivable that the first evaluation unit and the second evaluation unit inspect the camera images parallel to one another in order to increase an overall detection rate.
Die Vorrichtung kann in der Getränkeverarbeitungsanlage angeordnet sein. Folglich wird also die zweite Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungs verfahren vor Ort beim Getränkehersteller trainiert. „Vor Ort“ kann also bedeuten, dass die zweite Auswerteeinheit vor Ort beim Getränkehersteller mit dem Trainingsdatensatz trainiert wird. The device can be arranged in the beverage processing plant. Consequently, the second evaluation unit is trained with the image processing method based on artificial intelligence on site at the beverage manufacturer. “On site” can therefore mean that the second evaluation unit is trained on site at the beverage manufacturer with the training data set.
Die Vorrichtung kann ein Computersystem mit der ersten Auswerteeinheit und der zweiten Aus werteeinheit umfassen. Dadurch können die erste Auswerteeinheit und die zweite Auswerteein heit als Computerprogrammprodukt implementiert sein. Denkbar ist auch, dass das Computersys tem die Klassifizierungseinheit umfasst. Dadurch kann die Klassifizierungseinheit ebenfalls als Computerprogrammprodukt implementiert sein. Das Computersystem kann den Signalprozessor und/oder die CPU (Central Processing Unit) und/oder die GPU (Graphics Processing Unit) und/o der die TPU (Tensor Processing Unit) und/oder die VPU (Vision Processing Unit) umfassen. Denk bar ist auch, dass das Computersystem die Speichereinheit, die eine oder mehrere Datenschnitt stellen, die Netzwerkschnittstelle, die Anzeigeeinheit und/oder die Eingabeeinheit umfasst. The device can comprise a computer system with the first evaluation unit and the second evaluation unit. As a result, the first evaluation unit and the second evaluation unit can be implemented as a computer program product. It is also conceivable that the computer system includes the classification unit. As a result, the classification unit can also be implemented as a computer program product. The computer system can comprise the signal processor and / or the CPU (Central Processing Unit) and / or the GPU (Graphics Processing Unit) and / or the TPU (Tensor Processing Unit) and / or the VPU (Vision Processing Unit). It is also conceivable that the computer system comprises the storage unit, which provide one or more data interfaces, the network interface, the display unit and / or the input unit.
Die Inspektionseinheit, die erste Auswerteeinheit, die zweite Auswerteeinheit und/oder die Klas sifizierungseinheit können über eine digitale Datenverbindung miteinander verbunden sein, ins besondere um die Kamerabilder, die Fehlerbilder, die Fehlermarkierungen, die fehlerfreien Bilder, den spezifischen Trainingsdatensatz und/oder den generischen Trainingsdatensatz zu übertra gen. Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigt: The inspection unit, the first evaluation unit, the second evaluation unit and / or the classification unit can be connected to one another via a digital data link, in particular around the camera images, the error images, the error markings, the error-free images, the specific training data set and / or the generic training data set transferred to. Further features and advantages of the invention are explained in more detail below with reference to the exemplary embodiments shown in the figures. It shows:
Figur 1 ein erfindungsgemäßes Ausführungsbeispiel einer Vorrichtung zur optischenFigure 1 shows an inventive embodiment of a device for optical
Inspektion von Behältern in einer Getränkeverarbeitungsanlage als Draufsicht; und Inspection of containers in a beverage processing plant as a plan view; and
Figuren 2A - 2B ein erfindungsgemäßes Ausführungsbeispiel eines Verfahrens zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage als Flussdia gramm. FIGS. 2A-2B show an exemplary embodiment according to the invention of a method for the optical inspection of containers in a beverage processing plant as a flow diagram.
In der Figur 1 ist ein erfindungsgemäßes Ausführungsbeispiel einer Vorrichtung 1 zur optischen Inspektion von Behältern 2 in einer Getränkeverarbeitungsanlage A als Draufsicht dargestellt. Die Vorrichtung 1 ist zur Durchführung des Verfahrens 100 in den nachfolgend beschriebenen Figuren 2A - 2B ausgebildet. In FIG. 1, an exemplary embodiment according to the invention of a device 1 for the optical inspection of containers 2 in a beverage processing system A is shown as a top view. The device 1 is designed to carry out the method 100 in FIGS. 2A-2B described below.
Zu sehen ist, dass die Behälter 2 zunächst mit dem Einlaufstern 9 an den Füller 6 übergeben und dort mit einem fließfähigen Produkt befüllt werden. Der Füller 6 umfasst beispielsweise ein Karus sell mit daran angeordneten Füllorganen (hier nicht dargestellt), mit denen die Behälter 2 während des Transports mit dem fließfähigen Produkt befüllt werden. Nachfolgend werden die Behälter 2 über den Zwischenstern 10 an den Verschließer 7 übergeben und dort mit einem Verschluss ver sehen, beispielsweise mit einem Korken, Kronkorken oder mit einem Schraubverschluss. Dadurch ist das fließfähige Produkt in den Behältern 2 vor Umgebungseinflüssen geschützt und kann nicht mehr aus den Behältern 2 auslaufen. It can be seen that the containers 2 are first transferred with the inlet star 9 to the filler 6 and are filled there with a flowable product. The filler 6 comprises, for example, a carousel with filling elements arranged thereon (not shown here) with which the containers 2 are filled with the flowable product during transport. Subsequently, the containers 2 are transferred to the closer 7 via the intermediate star 10 and see there with a closure, for example with a cork, crown cap or with a screw cap. As a result, the flowable product in the containers 2 is protected from environmental influences and can no longer run out of the containers 2.
Nachfolgend werden die Behälter 2 über den Auslaufstern 11 an den Transporteur 3 übergeben, der die Behälter 2 als Behältermassenstrom zur Inspektionseinheit 4 transportiert. Der Transpor teur ist hier beispielhaft als Förderband ausgebildet, auf dem die Behälter 2 stehend transportiert werden. Die daran angeordnete Inspektionseinheit 4 umfasst die Beleuchtungseinrichtung 42 und die Kamera 41 , mit der die Behälter 2 im Durchlicht erfasst werden können. Die Beleuchtungsein richtung 42 weist beispielsweise eine streuende Lichtaustrittsscheibe auf, die mit mehreren LEDs hinterleuchtet wird und die so einen leuchtenden Bildhintergrund für die Behälter 2 aus Sicht der Kamera 41 bildet. Mit der Kamera 41 werden die Behälter 2 dann als Kamerabilder erfasst und als digitales Datensignal an das Computersystem 5 weitergeleitet. The containers 2 are then transferred via the discharge star 11 to the conveyor 3, which transports the containers 2 as a container mass flow to the inspection unit 4. The Transpor teur is designed here as an example of a conveyor belt on which the container 2 are transported upright. The inspection unit 4 arranged thereon comprises the lighting device 42 and the camera 41, with which the containers 2 can be detected in transmitted light. The lighting device 42 has, for example, a diffusing light exit disk which is backlit with several LEDs and which thus forms a luminous image background for the container 2 from the perspective of the camera 41. The containers 2 are then captured as camera images with the camera 41 and forwarded to the computer system 5 as a digital data signal.
Alternativ oder zusätzlich ist denkbar, dass die Behälter 2 mit einer anderen Beleuchtungseinrich tung im Auflicht erfasst werden. Des Weiteren ist das Computersystem 5 mit der ersten Auswerteeinheit 51 , der zweiten Auswer teeinheit 52 und mit der Klassifizierungseinheit 53 zu sehen. Das Computersystem 5 umfasst bei spielsweise eine CPU, eine Speichereinheit, eine Eingabe- und Ausgabeeinheit und eine Netz werkschnittstelle. Dementsprechend sind die erste Auswerteeinheit 51, die zweite Auswerteein heit 52 und die Klassifizierungseinheit 53 als Computerprogrammprodukt in dem Computersystem 5 implementiert. As an alternative or in addition, it is conceivable that the containers 2 are detected with a different lighting device in incident light. Furthermore, the computer system 5 with the first evaluation unit 51, the second evaluation unit 52 and with the classification unit 53 can be seen. The computer system 5 comprises, for example, a CPU, a memory unit, an input and output unit and a network interface. Accordingly, the first evaluation unit 51, the second evaluation unit 52 and the classification unit 53 are implemented as a computer program product in the computer system 5.
Die erste Auswerteeinheit 51 ist dazu ausgebildet, die Kamerabilder mit einem konventionell ar beitenden Bildverarbeitungsverfahren auf Fehler hin zu inspizieren, beispielsweise auf die Füll höhe und/oder Verschmutzungen. The first evaluation unit 51 is designed to inspect the camera images for errors using a conventional image processing method, for example for the fill level and / or soiling.
Des Weiteren ist die Klassifizierungseinheit 53 dazu ausgebildet, diejenigen der Kamerabilder mit den fehlerhaften Behältern als Fehlerbilder zu klassifizieren, die Fehler entsprechend als Fehler markierungen den Fehlerbildern zuzuordnen und diejenigen der Kamerabilder mit für gut befun den Behältern als fehlerfreie Bilder zu klassifizieren. Zudem ist die Klassifizierungseinheit 53 dazu ausgebildet, die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Bilder als spezifischen Trainingsdatensatz zusammenzustellen. Furthermore, the classification unit 53 is designed to classify those of the camera images with the defective containers as defect images, to assign the defects as defect markings to the defect images and to classify those of the camera images with the containers as good as defect-free images. In addition, the classification unit 53 is designed to compile the error images, the error markings and the error-free images as a specific training data set.
Die zweite Auswerteeinheit 52 ist dazu ausgebildet, ein auf Basis künstlicher Intelligenz arbeiten des Bildverarbeitungsverfahren durchzuführen und es vor Ort mit dem spezifischen Trainingsda tensatz zu trainieren. The second evaluation unit 52 is designed to carry out an image processing method based on artificial intelligence and to train it on site with the specific training data set.
Bei der Inspektion werden zunächst mit der ersten Auswerteeinheit 51 die Kamerabilder der Be hälter 2 erfasst und mittels der Klassifizierungseinheit 53 klassifiziert, sodass daraus der spezifi sche Trainingsdatensatz zusammengestellt werden kann. Anschließend wird dann diezweite Aus werteeinheit 52 mit dem spezifischen Trainingsdatensatz vor Ort in der Getränkeverarbeitungsan lage A trainiert. During the inspection, the camera images of the containers 2 are first recorded with the first evaluation unit 51 and classified by means of the classification unit 53 so that the specific training data set can be compiled therefrom. The second evaluation unit 52 is then trained on site in the beverage processing plant A with the specific training data set.
Anschließend kann dann die Inspektion alternativ oder zusätzlich mithilfe der zweiten Auswer teeinheit 52 erfolgen. Entsprechend ist die zweite Auswerteeinheit 52 dazu ausgebildet, die Ka merabilder mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin zu inspizieren. The inspection can then alternatively or additionally take place with the aid of the second evaluation unit 52. Correspondingly, the second evaluation unit 52 is designed to inspect the camera images for errors using the image processing method based on artificial intelligence.
Die fehlerfreien Behälter 2 werden nachfolgend weiteren Verarbeitungsschritten zugeführt, bei spielsweise einem Palettierer. Demgegenüber werden fehlerbehaftete Behälter mittels einer Wei che aus dem Behältermassenstrom ausgeschleust und dann recycelt oder entsorgt. Die Arbeitsweise der ersten Auswerteeinheit 51 , der zweiten Auswerteeinheit 52 und der Klassifi zierungseinheit 53 werden nachfolgend anhand der Figuren 2A - 2B genauer beschrieben. The error-free containers 2 are then fed to further processing steps, for example a palletizer. In contrast, faulty containers are discharged from the container mass flow using a Wei surface and then recycled or disposed of. The mode of operation of the first evaluation unit 51, the second evaluation unit 52 and the classification unit 53 are described in more detail below with reference to FIGS. 2A-2B.
In den Figuren 2A - 2B ist ein erfindungsgemäßes Ausführungsbeispiel eines Verfahrens 100 zur optischen Inspektion von Behältern 2 in einer Getränkeverarbeitungsanlage A als Flussdiagramm dargestellt. Das Verfahren 100 wird lediglich beispielhaft anhand der zuvor in Bezug auf die Figur 1 beschriebenen Vorrichtung 1 zur optischen Inspektion beschrieben. FIGS. 2A-2B show an exemplary embodiment according to the invention of a method 100 for the optical inspection of containers 2 in a beverage processing system A as a flow chart. The method 100 is described merely by way of example with reference to the device 1 for optical inspection described above with reference to FIG. 1.
Zunächst werden die Behälter 2 im Schritt 101 mit dem Transporteur 3 als Behältermassenstrom transportiert. Dies geschieht beispielsweise mittels eines Förderbands oder eines Karussells.First, in step 101, the containers 2 are transported by the conveyor 3 as a container mass flow. This is done, for example, by means of a conveyor belt or a carousel.
Im nachfolgenden Schritt 102 werden die Behälter 2 von der in der Getränkeverarbeitungsanlage angeordneten Inspektionseinheit 4 als Kamerabilder erfasst. Dabei werden die Behälter 2 bei spielsweise mit der Beleuchtungseinheit 42 durchleuchtet und mit der Kamera 41 als Kamerabil der im Durchlicht erfasst. Denkbar ist jedoch auch, dass die Behälter 2 zusätzlich oder alternativ im Auflicht beleuchtet und mit der Kamera 41 als Kamerabilder erfasst werden. In the subsequent step 102, the containers 2 are captured as camera images by the inspection unit 4 arranged in the beverage processing system. In this case, the containers 2 are illuminated, for example, with the lighting unit 42 and captured in transmitted light with the camera 41 as a camera image. However, it is also conceivable that the containers 2 are additionally or alternatively illuminated in incident light and captured as camera images with the camera 41.
Die Kamerabilder werden dann im Schritt 103 von der ersten Auswerteeinheit 51 mit einem kon ventionell arbeitenden Bildverarbeitungsverfahren auf Fehler hin inspiziert. Mit dem „konventionell arbeitenden Bildverarbeitungsverfahren“ ist hier ein Verfahren ohne künstliche Intelligenz ge meint, beispielsweise indem die Kamerabilder mittels Filter- und Schwellwertoperationen ausge wertet werden um Fehler zu erkennen, wie beispielsweise eine fehlerhafte Füllhöhe und/oder Ver schmutzungen. Dazu wird beispielsweise ein Kantenfilter eingesetzt, mit dem die Oberfläche des flüssigen Produkts aus den Kamerabildern herausgefiltert werden kann. The camera images are then inspected for errors in step 103 by the first evaluation unit 51 using a conventionally operating image processing method. The “conventionally working image processing method” here means a method without artificial intelligence, for example in that the camera images are evaluated using filter and threshold value operations in order to detect errors, such as an incorrect fill level and / or contamination. For this purpose, an edge filter is used, for example, with which the surface of the liquid product can be filtered out of the camera images.
Nachfolgend werden dann im Schritt 104 diejenigen der Kamerabilder mit den fehlerhaften Behäl tern 2 als Fehlerbilder klassifiziert und die Fehler entsprechend als Fehlermarkierungen den Fehlerbildern zuordnet. Beispielsweise kann als Fehlermarkierung eine Füllstandshöhe und/oder ein Fehlerindikator in den Fehlerbildern, insbesondere in deren Metadaten eingetragen werden.Then, in step 104, those of the camera images with the faulty containers 2 are classified as fault images and the faults are assigned to the fault images accordingly as fault markings. For example, a fill level and / or an error indicator can be entered as an error marker in the error images, in particular in their metadata.
Des Weiteren werden im Schritt 105 mit der Klassifizierungseinheit 53 diejenigen der Kamerabil der mit für gut befunden Behältern 2 als fehlerfreie Bilder klassifiziert. Furthermore, in step 105, the classification unit 53 classifies those of the camera plates with the containers 2 found to be good as error-free images.
Entsprechend werden dann die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Bilder als spezifische Trainingsdatensatz zusammengestellt (Schritt 106). Correspondingly, the error images, the error markings and the error-free images are then compiled as a specific training data set (step 106).
Dies Schritte 104 - 106 werden beispielsweise mit der Klassifizierungseinheit 53 durchgeführt. Anschließend wird dann im Schritt 108 die zweite Auswerteeinheit 52 mit dem auf Basis künstli cher Intelligenz arbeitenden Bildverarbeitungsverfahren vor Ort mit dem spezifischen Trainings datensatz trainiert. Beispielsweise wird ein tiefes neuronales Netzwerk der zweiten Auswerteein heit mit dem spezifischen Trainingsdatensatz trainiert. These steps 104 - 106 are carried out with the classification unit 53, for example. Subsequently, in step 108, the second evaluation unit 52 is trained on site with the specific training data set using the image processing method that works on the basis of artificial intelligence. For example, a deep neural network of the second evaluation unit is trained with the specific training data set.
Wie im Schritt 107 gezeigt, ist es zusätzlich denkbar, dass die zweite Auswerteeinheit 52 mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren bereits zuvor beim Her steller der Getränkeverarbeitungsanlage mit einem dort vorhandenen, generischen Trainingsda tensatz trainiert wird. Dadurch können beim Hersteller der Getränkeverarbeitungsanlage bereits bekannte Behältertypen und Fehlerbilder eingespielt werden, um das auf Basis künstlicher Intelli genz arbeitende Bildbearbeitungsverfahren vorab zu trainieren und dann mit dem spezifischen Trainingsdatensatz vor Ort in der Getränkeverarbeitungsanlage A weiter zu trainieren. Dadurch wird das auf Basis künstlicher Intelligenz arbeitende Bildverarbeitungsverfahren weiter auf die spezifisch beim Getränkehersteller vorhandenen Behältertypen trainiert. As shown in step 107, it is also conceivable that the second evaluation unit 52 with the image processing method working on the basis of artificial intelligence is already trained beforehand at the manufacturer of the beverage processing system with a generic training data set available there. As a result, already known container types and error images can be imported at the manufacturer of the beverage processing system in order to train the image processing method working on the basis of artificial intelligence beforehand and then to continue training with the specific training data set on site in the beverage processing system A. As a result, the image processing method, which works on the basis of artificial intelligence, is further trained on the specific container types available at the beverage manufacturer.
Zudem wird im Schritt 109 die Erkennungsleistung der zweiten Auswerteeinheit 52 auf Basis eines Überprüfungsdatensatzes ermittelt. Der Überprüfungsdatensatz kann dazu weitere Fehlerbilder, Fehlermarkierungen und fehlerfreie Bilder umfassen, die weder in dem generischen Trainingsda tensatz noch in dem spezifischen Trainingsdatensatz vorhanden sind. Folglich kann also ermittelt werden, ob die zweite Auswerteeinheit zuverlässig arbeitet. In addition, in step 109 the recognition performance of the second evaluation unit 52 is determined on the basis of a verification data set. For this purpose, the checking data set can comprise further error images, error markings and error-free images which are not present either in the generic training data set or in the specific training data set. Consequently, it can therefore be determined whether the second evaluation unit is working reliably.
Überschreitet dann die Erkennungsleistung im Schritt 110 einen vorbestimmten Schwellwert, so können im Schritt 111 die Kamerabilder von der zweiten Auswerteeinheit 52 mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin inspiziert wer den. Dies kann entweder alternativ oder zusätzlich zur Auswertung mit der ersten Auswerteeinheit 51 geschehen. If the recognition performance then exceeds a predetermined threshold value in step 110, then in step 111 the camera images can be inspected for errors by the second evaluation unit 52 using the image processing method based on artificial intelligence. This can be done either as an alternative or in addition to the evaluation with the first evaluation unit 51.
Durch die Auswertung alternativ mit der zweiten Auswerteeinheit ist es durch die künstliche Intel ligenz möglich, ohne eine aufwändige Parametrisierung der klassischen Bildverarbeitungsverfah ren durch einen Experten, eine zuverlässige Erkennungsleistung zu gewährleisten. As an alternative to the evaluation with the second evaluation unit, the artificial intelligence makes it possible to ensure reliable recognition performance without the need for complex parameterization of the classic image processing methods by an expert.
Falls dagegen die Kamerabilder parallel zur zweiten Auswerteeinheit 52 zusätzlich von der ersten Auswerteeinheit 51 inspiziert werden, können mit Hilfe des konventionell arbeitenden Bildverar beitungsverfahrens für das auf Basis künstlicher Intelligenz arbeitende Bildverarbeitungsverfahren noch unbekannte Fehler erkannt werden. Dadurch ist es möglich, die Zuverlässigkeit der Auswer tung zu erhöhen. Die Auswerteempfindlichkeit der ersten Auswerteeinheit 51 kann dabei vermin- dert oder auf Standardparameter gesetzt werden, um Fehlausleitungen zu verhindern. Es ist denk bar, dass diejenigen der Kamerabilder mit Behältern 2 mit den unbekannten Fehlern als weitere Fehlerbilder klassifiziert und die unbekannten Fehler entsprechend als weitere Fehlermarkierun gen den weiteren Fehlerbildern zugeordnet werden, wobei die weiteren Fehlerbilder und die wei teren Fehlermarkierungen als weiterer spezifischer Trainingsdatensatz zusammengestellt wer den, und wobei mit dem weiteren spezifischen Trainingsdatensatz vor Ort die zweite Auswerteein heit 52 mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren weiter trainiert wird. Dadurch kann die Erkennungsleistung der zweiten Auswerteeinheit 52 mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren weiter erhöht werden. If, on the other hand, the camera images are additionally inspected by the first evaluation unit 51 parallel to the second evaluation unit 52, still unknown errors can be detected with the aid of the conventionally operating image processing method for the image processing method based on artificial intelligence. This makes it possible to increase the reliability of the evaluation. The evaluation sensitivity of the first evaluation unit 51 can thereby reduce changed or set to standard parameters to prevent false rejection. It is conceivable that those of the camera images with containers 2 with the unknown errors are classified as further error images and the unknown errors are correspondingly assigned to the further error images as further error markings, the further error images and the further error markings being compiled as a further specific training data set the, and with the further specific training data set on site, the second evaluation unit 52 is trained further with the image processing method working on the basis of artificial intelligence. As a result, the recognition performance of the second evaluation unit 52 with the image processing method based on artificial intelligence can be increased further.
Überschreitet die Erkennungsleistung dagegen im Schritt 110 den vorbestimmten Schwellwert nicht, so werden die Kamerabilder gemäß Schritt 110 nach wie vor von der ersten Auswerteeinheit 51 mit dem konventionell arbeitenden Bildverarbeitungsverfahren auf die Fehler hin inspiziert. Da bei kann die Klassifizierungseinheit 53 weiterhin die Kamerabilder gemäß den Schritten 104 und 105 klassifizieren und weitere Fehlerbilder, Fehlermarkierungen und fehlerfreie Bilder dem spezi fischen Trainingsdatensatz hinzufügen oder einen weiteren spezifischen Trainingsdatensatz er stellen. Damit kann dann entsprechend dem Schritt 108 die zweite Auswerteeinheit 52 weiter trai niert werden, bis die Erkennungsleistung im Schritt 110 den vorbestimmten Schwellwert über schreitet. If, on the other hand, the recognition performance does not exceed the predetermined threshold value in step 110, the camera images are still inspected for errors by the first evaluation unit 51 according to step 110 using the conventionally operating image processing method. The classification unit 53 can further classify the camera images according to steps 104 and 105 and add further error images, error markings and error-free images to the specific training data set or create a further specific training data set. The second evaluation unit 52 can then be trained further in accordance with step 108 until the recognition performance in step 110 exceeds the predetermined threshold value.
Denkbar ist auch, dass das Trainieren der zweiten Auswerteeinheit 52 im Schritt 108 mit niedri gerer Priorität erfolgt, als die Erfassung der Behälter mit der Inspektionseinheit 4 im Schritt 102 und/oder die Inspektion der Kamerabilder mit der ersten Auswerteeinheit 51 im Schritt 103, um bei der Inspektion ungenutzte Ressourcen eines Computersystems 5 zu nutzen. It is also conceivable that the training of the second evaluation unit 52 in step 108 takes place with a lower priority than the detection of the containers with the inspection unit 4 in step 102 and / or the inspection of the camera images with the first evaluation unit 51 in step 103 to use unused resources of a computer system 5 for the inspection.
Dadurch, dass die Kamerabilder mit den fehlerhaften Behältern 2 als Fehlerbilder klassifiziert und die Fehler entsprechend als Fehlermarkierungen den Fehlerbildern zugeordnet werden, und dass diejenigen der Kamerabilder mit für gut befundenen Behältern 2 als fehlerfrei Bilder klassifiziert werden, kann eine große Anzahl von Fehlerbildern und fehlerfreien Bildern auf Basis des konven tionell arbeitenden Bildverarbeitungsverfahren bereitgestellt werden. Dies kann beispielsweise in der Getränkeverarbeitungsanlage A mit Behältertypen geschehen, bei denen das konventionell arbeitende Bildverarbeitungsverfahren eingerichtet wurde und so besonders zuverlässig arbeitet. Anschließend wird aus den Fehlerbildern, den Fehlermarkierungen und den fehlerfreien Bildern ein spezifischer Trainingsdatensatz zusammengestellt und damit vor Ort die zweite Auswerteein heit 52 mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren trainiert. Folglich kann der spezifische Trainingsdatensatz weitestgehend automatisch bereitgestellt wer den, wodurch das Verfahren 100 besonders zeit- und damit kosteneffektiv arbeitet. The fact that the camera images with the defective containers 2 are classified as defective images and the defects are assigned to the defective images as defective markings, and that those of the camera images with the containers 2 found to be good are classified as error-free images, can result in a large number of defective images and error-free images can be provided on the basis of the conventional image processing method. This can be done, for example, in the beverage processing system A with container types in which the conventionally operating image processing method has been set up and thus works particularly reliably. A specific training data set is then compiled from the error images, the error markings and the error-free images, and the second evaluation unit 52 is trained on site with the image processing method based on artificial intelligence. As a result, the specific training data set can be provided automatically as far as possible, as a result of which the method 100 works in a particularly time-efficient and thus cost-effective manner.
Es versteht sich, dass in den zuvor beschriebenen Ausführungsbeispielen genannte Merkmal nicht auf diese Merkmalskombinationen beschränkt sind, sondern auch einzeln oder in beliebigen anderen Merkmalskombinationen möglich sind. It goes without saying that features mentioned in the exemplary embodiments described above are not limited to these feature combinations, but are also possible individually or in any other feature combinations.

Claims

Ansprüche Expectations
1. Verfahren (100) zur optischen Inspektion von Behältern in einer Getränkeverarbeitungs anlage, wobei die Behälter mit einem Transporteur als Behältermassenstrom transpor tiert (101) und von einer in der Getränkeverarbeitungsanlage angeordneten Inspektions einheit als Kamerabilder erfasst werden (102), und wobei die Kamerabilder von einer ers ten Auswerteeinheit mit einem konventionell arbeitenden Bildverarbeitungsverfahren auf Fehler hin inspiziert werden (103), dadurch gekennzeichnet, dass diejenigen der Kamerabilder mit fehlerhaften Behältern als Fehlerbilder klassifiziert und die Fehler entsprechend als Fehlermarkierungen den Fehlerbildern zugeordnet werden (104), dass diejenigen der Kamerabilder mit für gut befunden Behältern als fehlerfreie Bilder klassifiziert werden (105), dass die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Bilder als spezifischer Trainingsdatensatz zusammengestellt werden (106), und dass mit dem spezifischen Trainingsdatensatz vor Ort eine zweite Auswerteeinheit mit einem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren trainiert wird (108). 1. A method (100) for the optical inspection of containers in a beverage processing plant, the containers being transported by a conveyor as a container mass flow (101) and being captured as camera images (102) by an inspection unit arranged in the beverage processing plant, and the camera images are inspected for errors by a first evaluation unit with a conventionally operating image processing method (103), characterized in that those of the camera images with defective containers are classified as defective images and the errors are assigned to the defective images as error markings (104) with containers found to be good are classified as error-free images (105), that the error images, the error markings and the error-free images are compiled as a specific training data set (106), and that with the specific training data set on site a two te evaluation unit is trained with an image processing method based on artificial intelligence (108).
2. Verfahren (100) nach Anspruch 1, wobei in einem ersten Schritt die zweite Auswerteein heit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren bei einem Hersteller der zweiten Auswerteeinheit mit einem generischen Trainingsdatensatz trainiert (107) und, wobei danach in einem zweiten Schritt die zweite Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren vor Ort mit dem spezifischen Trainingsdatensatz trainiert wird (108). 2. The method (100) according to claim 1, wherein in a first step the second evaluation unit trains (107) with the image processing method working on the basis of artificial intelligence at a manufacturer of the second evaluation unit with a generic training data set, and then in a second step the second evaluation unit with the image processing method working on the basis of artificial intelligence is trained on site with the specific training data set (108).
3. Verfahren (100) nach Anspruch 1 oder 2, wobei das Trainieren der zweiten Auswerteein heit (108) mit niedrigerer Priorität erfolgt, als die Erfassung der Behälter mit der Inspekti onseinheit (102) und/oder die Inspektion der Kamerabilder mit der ersten Auswerteein heit (103), um bei der Inspektion ungenutzte Ressourcen eines Computersystems zu nut zen. 3. The method (100) according to claim 1 or 2, wherein the training of the second evaluation unit (108) takes place with lower priority than the detection of the containers with the inspection unit (102) and / or the inspection of the camera images with the first evaluation unit unit (103) in order to use unused resources of a computer system during the inspection.
4. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei eine Erkennungs leistung der zweiten Auswerteeinheit auf Basis eines Überprüfungsdatensatzes ermittelt wird (109) und falls die Erkennungsleistung einen vorbestimmten Schwellwert über schreitet (110), dass dann die Kamerabilder von der zweiten Auswerteeinheit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren auf die Fehler hin inspiziert werden (111). 4. The method (100) according to any one of the preceding claims, wherein a recognition performance of the second evaluation unit is determined on the basis of a verification data set (109) and if the recognition performance exceeds a predetermined threshold value (110) that then the camera images from the second evaluation unit the image processing method working on the basis of artificial intelligence can be inspected for the errors (111).
5. Verfahren (100) nach Anspruch 4, wobei die Kamerabilder anstelle von der ersten Aus werteeinheit von der zweiten Auswerteeinheit inspiziert werden. 5. The method (100) according to claim 4, wherein the camera images are inspected by the second evaluation unit instead of the first evaluation unit.
6. Verfahren (100) nach Anspruch 4, wobei die Kamerabilder parallel zur zweiten Auswer teeinheit zusätzlich von der ersten Auswerteeinheit inspiziert werden, um mit Hilfe des konventionell arbeitenden Bildverarbeitungsverfahrens für das auf Basis künstlicher Intel ligenz arbeitende Bildverarbeitungsverfahren noch unbekannte Fehler zu erkennen.6. The method (100) according to claim 4, wherein the camera images are also inspected parallel to the second evaluation unit by the first evaluation unit in order to detect unknown errors using the conventional image processing method for the image processing method based on artificial intelligence.
7. Verfahren (100) nach Anspruch 6, wobei diejenigen der Kamerabilder mit Behältern mit den unbekannten Fehlern als weitere Fehlerbilder klassifiziert und die unbekannten Feh ler entsprechend als weitere Fehlermarkierungen den weiteren Fehlerbildern zugeordnet werden, wobei die weiteren Fehlerbilder und die weiteren Fehlermarkierungen als weiterer spezifi scher Trainingsdatensatz zusammengestellt werden, und wobei mit dem weiteren spezifischen Trainingsdatensatz vor Ort die zweite Auswerteein heit mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverarbeitungsverfahren trai niert wird. 7. The method (100) according to claim 6, wherein those of the camera images with containers with the unknown errors are classified as further error images and the unknown errors are assigned to the further error images accordingly as further error markings, the further error images and the further error markings being further specifi Shear training data set are compiled, and with the further specific training data set on site, the second evaluation unit is trained with the image processing method based on artificial intelligence.
8. Verfahren (100) nach Anspruch 6 oder 7, wobei eine Auswerteempfindlichkeit der ersten Auswerteeinheit vermindert oder auf Standardparameter gesetzt wird, um Fehlausleitun gen zu verhindern. 8. The method (100) according to claim 6 or 7, wherein an evaluation sensitivity of the first evaluation unit is reduced or set to standard parameters in order to prevent false discharges.
9. Verfahren (100) nach einem der vorangegangenen Ansprüche, wobei die fehlerhaften Behälter aus dem Behältermassenstrom aussortiert werden. 9. The method (100) according to any one of the preceding claims, wherein the defective containers are sorted out from the container mass flow.
10. Vorrichtung (1) zur optischen Inspektion von Behältern (2) in einer Getränkeverarbei tungsanlage (A), insbesondere zur Durchführung des Verfahrens nach einem der An sprüche 1 - 9, mit einem Transporteur (3) zum Transport der Behälter (2) als Behältermassenstrom, einer in der Getränkeverarbeitungsanlage (1) angeordneten Inspektionseinheit (4), um die Behälter (2) als Kamerabilder zu erfassen, und mit einer ersten Auswerteeinheit (51), die dazu ausgebildet ist, die Kamerabilder mit ei nem konventionell arbeitenden Bildverarbeitungsverfahren auf Fehler hin zu inspizieren, dadurch gekennzeichnet, dass eine Klassifizierungseinheit (53) dazu ausgebildet ist, diejenigen der Kamerabilder mit fehlerhaften Behältern als Fehlerbilder zu klassifizieren und die Fehler entsprechend als Fehlermarkierungen den Fehlerbildern zuzuordnen, diejenigen der Kamerabilder mit für gut befunden Behältern als fehlerfreie Bilder zu klassifizieren, und die Fehlerbilder, die Fehlermarkierungen und die fehlerfreien Bilder als spezifischer Trainingsdatensatz zu sammenzustellen, und dass eine zweite Auswerteeinheit (52) dazu ausgebildet ist, ein auf Basis künstlicher In telligenz arbeitendes Bildverarbeitungsverfahren durchzuführen und mit dem spezifi schen Trainingsdatensatz vor Ort das auf Basis künstlicher Intelligenz arbeitende Bildver arbeitungsverfahren zu trainieren. 10. Device (1) for the optical inspection of containers (2) in a beverage processing plant (A), in particular for performing the method according to one of claims 1-9, with a conveyor (3) for transporting the container (2) as Container mass flow rate, an inspection unit (4) arranged in the beverage processing system (1) to capture the containers (2) as camera images, and with a first evaluation unit (51) which is designed to check the camera images for errors using a conventional image processing method inspect, characterized in that a classification unit (53) is designed to classify those of the camera images with defective containers as error images and to assign the errors accordingly as error markings to the error images, to classify those of the camera images with containers found to be good as error-free images, and to compile the error images, the error markings and the error-free images as a specific training data set, and that a second evaluation unit (52) is designed to carry out an image processing method based on artificial intelligence and with the specific training data set to train on-site the image processing method based on artificial intelligence.
11. Vorrichtung (1) nach Anspruch 10, wobei die zweite Auswerteeinheit (52) dazu ausgebil det ist, die Kamerabilder mit dem auf Basis künstlicher Intelligenz arbeitenden Bildverar beitungsverfahren auf die Fehler hin zu inspizieren. 11. The device (1) according to claim 10, wherein the second evaluation unit (52) is ausgebil det to inspect the camera images with the artificial intelligence-based image processing method for errors.
12. Vorrichtung (1) nach einem der Ansprüche 10 oder 11, wobei die Vorrichtung (1) in der Getränkeverarbeitungsanlage (A) angeordnet ist. 12. Device (1) according to one of claims 10 or 11, wherein the device (1) is arranged in the beverage processing plant (A).
13. Vorrichtung (1) nach einem der Ansprüche 10 - 12, wobei die Vorrichtung (1) ein Com putersystem (5) mit der ersten Auswerteeinheit (51) und der zweiten Auswerteeinheit (52) umfasst. 13. Device (1) according to one of claims 10-12, wherein the device (1) comprises a Com puter system (5) with the first evaluation unit (51) and the second evaluation unit (52).
EP21716307.0A 2020-04-24 2021-03-29 Method and device for optically inspecting containers in a drinks processing system Pending EP4139839A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020111255 2020-04-24
DE102021106999.8A DE102021106999A1 (en) 2020-04-24 2021-03-22 Method and device for the optical inspection of containers in a beverage processing plant
PCT/EP2021/058070 WO2021213779A1 (en) 2020-04-24 2021-03-29 Method and device for optically inspecting containers in a drinks processing system

Publications (1)

Publication Number Publication Date
EP4139839A1 true EP4139839A1 (en) 2023-03-01

Family

ID=78261000

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21716307.0A Pending EP4139839A1 (en) 2020-04-24 2021-03-29 Method and device for optically inspecting containers in a drinks processing system

Country Status (5)

Country Link
US (1) US20230177671A1 (en)
EP (1) EP4139839A1 (en)
CN (1) CN115428015A (en)
DE (1) DE102021106999A1 (en)
WO (1) WO2021213779A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133159A1 (en) * 2021-12-15 2023-06-15 Krones Aktiengesellschaft Method for performing a setting operation of a case inspection device and case inspection device
EP4224366A1 (en) * 2022-02-03 2023-08-09 AImotive Kft. Neural network training method using semi-pseudo-labels
CH719706A2 (en) * 2022-05-19 2023-11-30 Finatec Holding Ag Method and device for the optical inspection of molded parts.

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014216188A1 (en) 2014-08-14 2016-02-18 Krones Ag Optical inspection method and optical inspection device for containers
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification

Also Published As

Publication number Publication date
US20230177671A1 (en) 2023-06-08
CN115428015A (en) 2022-12-02
WO2021213779A1 (en) 2021-10-28
DE102021106999A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
EP4139839A1 (en) Method and device for optically inspecting containers in a drinks processing system
EP3180135B1 (en) Optical inspection method and optical inspection device for containers
DE2938235C2 (en)
DE102012009783B3 (en) Method and device for inspection of empty bottles
DE60223956T2 (en) Examination device and system for the examination of foreign objects in containers filled with liquid
EP0657732A1 (en) Method and device for the optical inspection of a transparent part of a container, especially the mouth
EP2776817A1 (en) Inspection and recycling of containers
EP2369328A2 (en) Method and device for examining impurities in filled containers
DE102019208296A1 (en) Method and device for the optical inspection of containers
DE102017209752A1 (en) Inspection method and inspection device for empty bottle inspection in a beverage processing plant
DE102011001127A1 (en) Inspection device for empty containers, particularly transparent empty containers such as bottles, cans and jars, for use in food industry, particularly in beverage industry, has illumination device for illuminating empty containers
DE102019208299A1 (en) Method and device for the optical inspection of containers
EP4139665A1 (en) Method and device for inspecting containers
DE102016209722A1 (en) Apparatus and method for inspecting containers
EP3812748A1 (en) Device and method for optical inspection of containers
DE102010004972A1 (en) Object i.e. glass bottle, inspecting method for filling and packing system, involves outputting data sets by inspection devices, where data sets characterize inspected areas of object and are associated with each other
WO2021213832A1 (en) Method and device for checking the fill level of containers
DE69031084T2 (en) METHOD FOR SORTING REUSABLE CONTAINERS
DE102007036621A1 (en) Bottle e.g. beverage bottle, testing method for use in beverage industry, involves analyzing bottle image by image sensor and image processing system, and using self-luminous image for detecting preselected characteristics of bottle
WO2018197297A1 (en) Inspection method and inspection apparatus for inspecting containers by image processing
DE102019208295A1 (en) Method and device for the optical inspection of containers
DE2727651A1 (en) METHOD AND DEVICE FOR INSPECTING FILLED BOTTLES
DE102019132830A1 (en) Method and device for the detection of fallen and / or damaged containers in a container mass flow
EP3956653A1 (en) Inspection apparatus and method for inspecting containers
EP4033225A1 (en) Method for optical inspection of defects in ceramic articles

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220811

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)