EP1984795A1 - Method and apparatus for monitoring a production line - Google Patents

Method and apparatus for monitoring a production line

Info

Publication number
EP1984795A1
EP1984795A1 EP06819009A EP06819009A EP1984795A1 EP 1984795 A1 EP1984795 A1 EP 1984795A1 EP 06819009 A EP06819009 A EP 06819009A EP 06819009 A EP06819009 A EP 06819009A EP 1984795 A1 EP1984795 A1 EP 1984795A1
Authority
EP
European Patent Office
Prior art keywords
image sequence
determined
test image
objects
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06819009A
Other languages
German (de)
French (fr)
Inventor
Martin KÄSEMANN
Stefan Strathmann
Helmut Herrmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henkel AG and Co KGaA
Original Assignee
Henkel AG and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henkel AG and Co KGaA filed Critical Henkel AG and Co KGaA
Publication of EP1984795A1 publication Critical patent/EP1984795A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold

Definitions

  • the invention relates to a method and a device for monitoring a production line.
  • the individual steps of filling, closing, labeling and further packaging are usually carried out in a production line by several machines.
  • the containers are transported from one machine to the next.
  • Transport belts, screw conveyors or similar devices are used for the transport, with which the containers or products are transported individually from one machine to the next.
  • the solid or liquid products are filled into the containers at the highest possible cycle rate.
  • several hundred containers are filled, labeled and packed per minute and, accordingly, transported quickly between the individual machines.
  • trouble-free transport of the products or containers is essential. If, for example, containers are transported to a machine by means of a conveyor belt and if one of the containers is not delivered to the machine in a position from which the machine can further process the container, the machine and thus the production line can be blocked by this container.
  • Typical malfunctions when transporting the containers or products between the machines are, for example, placement outside the permissible limits on the conveyor belt or twisting or tilting or overturning on a conveyor belt Conveyor belt.
  • the causes of such faults can be, for example, unexpectedly high tolerances in the geometric dimensions of the objects to be transported, incorrect setting of transport or handling systems or causes that change over time, such as vibrations, fluctuating climatic conditions or signs of wear.
  • WO01 / 50204 describes a method and system for monitoring a production line, in which sensors on the production line to be monitored record production data and deliver it to a computer system which compares the supplied data with preset limit values and, in the event of deviations, in a suitable manner on a screen for these displays the monitored production line.
  • the system records, for example, the quantity of goods ejected from a machine or a conveyor belt and reports this to the computer system.
  • KR 2003053731 describes a device for monitoring a conveyor belt on which objects are transported. To monitor the conveyor belt, it has a current measuring device on its electric drive. A deviation in the current strength is interpreted as an indicator of a fault.
  • the methods and systems for monitoring a production line known from the prior art thus already detect the effects of a malfunction, for example a reduction in the output of a conveyor belt or a change in the operating parameters of a machine. Although this information is helpful for determining the cause, it is only possible to draw a limited conclusion about the cause of the fault.
  • the object of the invention is therefore to propose a method and a device with which the causes of a fault in a production line can be detected.
  • a reference image sequence is first generated, which maps at least one area of a transport path to be monitored between the machines of a production line.
  • This reference image sequence shows the trouble-free operation of the part of a production line to be monitored in a period of suitable length.
  • the reference image sequence not only captures a period of time in which the production line to be monitored is operated without problems, but in which the area to be monitored is operated with ideal parameters, so that it is ensured that the system is not operated at the limit of an operating parameter becomes.
  • a digital camera with a CCD or CMOS chip can be used to generate the reference image sequence, with which the desired part of a production line is captured in an image-generating manner and from which the individual images of an image sequence are supplied to a connected computer via a connection will.
  • an image sequence could initially also be generated with a conventional analog camera, the images being digitized in a later method step.
  • An image sequence could furthermore be composed of several partial sequences that cover different areas of a production line at a time in order to be subsequently processed as a whole. In this way, a production line could be completely recorded and monitored.
  • the reference image sequence generated in this way is first stored on the computer and evaluated in a subsequent method step.
  • This evaluation in a later method step includes the determination of a statistical parameter derived from the movement of the objects, for example the speeds of the objects transported between the machines, that is to say the products to be packaged or the packagings or the packaged and further processed products.
  • the statistical parameter derived from the movement of an object is the speed of an object.
  • the acceleration as occurs, for example, when the direction of a movement of an object changes, can be determined and processed as a statistical parameter derived from the movement of an object.
  • the speed of an object is assumed below as the statistical parameter derived from the movement of the object.
  • the statistical parameter for example the speed of a moving object in one direction, is determined using known algorithms by first determining corresponding pixels in successive images, for example on the basis of their color or gray value. Since the time period between the successive images is known, the speed of the imaged object can be determined by moving the image points. The determined speeds of the transported objects are then saved for further use. In this way, for each place the whole in the Transport image shown in the reference image sequence determines the speed of a transported product.
  • the statistical parameter of an object is advantageously determined for each location on the transport route, so that the entire length of the transport route is monitored without gaps.
  • the reference image sequence must record a sufficiently long period of trouble-free operation so that a sufficiently large amount of data is available for the determination of the speeds in order to be able to calculate temporal averages of the speeds.
  • a test pattern sequence is generated.
  • the camera delivers the generated images to the computer, which summarizes them in test image sequences of a predetermined length.
  • the test pattern sequence starts the operation of the production line within a period of time, which may have a situation that can be recognized as different below. This divides the entire monitoring time into sections.
  • a test pattern sequence is generated for each time period, which is further processed in the further steps of the test method.
  • the test image sequence Since the method compares information from the test image sequence with corresponding information from the reference image sequence in a later method step in order to determine a deviation of the test image sequence from the ideal state or fault-free state, the test image sequence must map the same machines and conveyor belts as the reference image sequence.
  • the image sections when generating the reference and test image sequence and the image repetition rates of the camera are advantageously identical.
  • the speeds of the objects in the test pattern sequence are now determined in a further method step analogous to the determination of the speeds in the reference image sequence.
  • the speed at the current location of the object is determined.
  • the same algorithm is preferably used as was used to determine the speeds in the reference image sequence.
  • the determined speeds of the objects in the test image sequence are compared in a further method step with the speed values determined for the reference image sequence. If deviations between the speeds are determined in this comparison, this indicates a possible cause of a fault.
  • a deviation in the speed of an object can be, for example, a jam of objects in front of a machine that takes the objects off the belt.
  • the method determines those locations where the actual speed of an object deviates from that which the object had at this location during the trouble-free reference operation, namely during the generation of the reference image sequence.
  • the process thus enables permanent automatic monitoring of a production line.
  • a deviation is only evaluated as a deviation in the comparison if the size of the deviation exceeds a preset limit value. A detected deviation that is below the preset limit value is therefore not considered a relevant deviation.
  • a tolerance range is defined for the speeds, so that only the speed deviations that are known from experience are evaluated as relevant and treated accordingly.
  • Speed deviations are advantageously marked in the test pattern sequence in such a way that each location of a test pattern sequence is marked at which a deviation in the speed between objects of the test sequence and the reference image sequence was determined.
  • the location can, for example, by specifying the X and Y coordinates in the Image can be given.
  • the location of a deviation on a display screen can also be marked in color by the location of the deviation being highlighted in a striking color. If, for example, the image area in which no deviation was found is highlighted in green, this area can be highlighted in red to indicate a detected speed deviation.
  • the ascertained speed deviation can advantageously be displayed by specifying the direction and the amount of the determined deviation and / or by specifying the speed components in the X and Y axis directions, the X and Y axes of the generated images being used as a coordinate system for display serve the speed deviations.
  • test pattern sequence for which a relevant speed deviation has been determined is then saved. If several test pattern sequences with relevant speed deviations are determined in quick succession, the last determined test pattern sequence can always be shown on a display. Older test pattern sequences can, however, also be displayed, if desired, so that the information is available for a later error analysis over several test pattern sequences. Test pattern sequences for which no relevant speed deviations have been determined can, however, be deleted or are not saved.
  • the method can advantageously have the method step that, after the generation of the reference image sequence, the largest contiguous moving image area is determined therein and subsequent method steps are carried out exclusively for this image area.
  • the camera typically cannot only record only those areas in which objects are transported from one machine to another.
  • the largest contiguous area in which objects are moved is determined after the generation of the reference image sequence. This is the area of the conveyor belt to be monitored. Other areas where, for example, machine parts are moving and people move are not considered any further. On the one hand, this results in a reduction in the amount of data to be processed, and on the other hand, the method is thus insensitive to movements that do not take place in the area to be checked, that is to say in the area of the conveyor belt.
  • the temporal variance of the color or gray value is determined for each pixel of all images in an image sequence by measuring the color or gray value. Only if this is significantly above the statistical noise level is this regarded as the movement of objects and the area is treated accordingly. Image areas in which the temporal variance of color or gray values of pixels lies below the statistical noise level are masked for the subsequent method steps and are not taken into account.
  • the largest coherent moving image area determined can be marked in the reference and test image sequences, in particular highlighted in color. When the image sequences are displayed, this enables a simple and quick check as to whether the image section determined as relevant has been correctly determined.
  • those image areas in which the color values of individual pixels fluctuate considerably over time can advantageously be marked as not relevant and thus be disregarded in subsequent method steps.
  • image areas it is only possible with a disproportionately high amount of computation and thus time to determine the movement of an object and thus its speed of movement.
  • the monitoring system should process the evaluation of the generated test image sequences as quickly and as quickly as possible, so that a display or other reaction to a determined speed deviation can occur as soon as possible, complex algorithms for determining the speed of an object in a region of strongly changing colors are unsuitable here .
  • Such image areas are therefore advantageously marked as irrelevant for subsequent process steps.
  • such areas are caused by light reflections on the transported objects or by moving surfaces of liquids in transparent containers.
  • a device which has at least one camera for generating the images and a computer connected to the camera.
  • the camera can be controlled via the connection to the computer in such a way that the generation of the images is triggered and controlled by the computer and the images are then transferred to the computer. All further processing steps are carried out on the computer.
  • the method can be represented in a computer program which can carry out all method steps of the method, trigger the generation of the images in the camera and control the image settings.
  • the generated images or image sequences as well as determined speed deviations can be displayed on a screen. You can manually intervene in the program at any time. For example, the evaluation of the reference image sequence, in particular the determination of the largest contiguous moving area, can be checked by one person.
  • the computer program can be designed in such a way that the images for the next test pattern sequence are already generated and transmitted to the computer during the processing of a test pattern sequence, so that continuous monitoring is possible.
  • a portable computer for example a laptop
  • a portable black and white CCD camera which can be used together as a mobile system without a time-consuming installation, has proven itself as a computer.
  • this mobile system enables monitoring of machines or conveyor belts that have not yet been monitored or for which a permanently installed monitoring system is too complex and whose economic benefits are therefore questionable.
  • the method according to the invention is described in more detail below using an exemplary embodiment. Show it:
  • Fig. 1 is a schematic representation of a production line
  • Monitoring device Fig. 2 is a schematic representation of the largest contiguous moving
  • Fig. 1 shows a schematic representation of a production line 1 with the monitoring system.
  • the production line has a first machine 2 and a second machine 3, which in this exemplary embodiment are a filling machine 2 and a labeling machine 3.
  • the filling machine 2 fills the bottles 5 with a liquid.
  • a conveyor belt 4 transports objects 5, here transparent bottles 5, in the direction indicated by arrow 6 first to the filling machine 2, then to the labeling machine 3.
  • the monitoring system has a camera 7 for generating the reference and test image sequences, which is connected to a computer 8.
  • the camera 7 is positioned such that it captures the section of the conveyor belt 4 to be monitored from a position elevated relative to the conveyor belt 4.
  • the generated image sequences thus show a supervision of the part of the production line 1 to be monitored or the part of the conveyor belt 4 to be monitored.
  • the camera 7 records the area delimited by the frame 9 drawn in broken lines, which comprises a piece of the conveyor belt 4 which transports bottles 5 from the filling machine 2 to the labeling machine 3.
  • the image sequences generated by the camera 7 thus represent the section of the conveyor belt 4 to be monitored between the machines 2, 3.
  • the camera 7 At the beginning of the method, the camera 7 generates the images for the reference image sequence, which reproduces the trouble-free and ideally possible transportation of the bottles 5.
  • the reference image sequence usually has a duration of a few seconds to a few minutes, typically 60 seconds. For this period of time is through Manual checking ensures that the transport of the bottles 5 by means of the conveyor belt 4 runs smoothly and with ideal parameters.
  • the camera 7 is set so that it generates the images for the reference image sequence with a sufficiently high image frequency so that the movement of the bottles 5, which are the objects of interest here, can be clearly tracked on the conveyor belt 4 to be monitored using the images .
  • the image frequency should preferably be set so that an object moves by a maximum of 4 pixels between two images.
  • the camera should generate the image sequences with more than 50 images per second.
  • the images of the reference image sequence are transmitted from the camera 7 to the computer 8, which takes over the entire further processing of the images.
  • the computer first determines the areas in which any movement takes place. On the one hand, this is the area in which the bottles 5 are moved by means of the conveyor belt 4. On the other hand, moving machine parts or a moving person can be depicted in the image sequences. The image sections recognized as moving image areas can be displayed on the screen of the computer 8 so that they can be checked so that they can be checked.
  • FIG. 2 shows the image section delimited by the dashed frame 9, which the camera 7 records from its position.
  • the computer 8 has determined the largest contiguous moving image area 10 for all images and thus all image sequences that are generated from this position of the camera 7.
  • This image area 10 is marked visibly on the screen of the computer 8, for example by the background being colored.
  • the largest contiguous moving image area 10 is marked by hatching.
  • the marking of this image section which the computer 8 has determined as the largest contiguous moving area 10, applies to all images of the reference image sequence and the test image sequences, so that the determination of this area only has to be carried out once at the beginning of the method using the reference image sequence.
  • FIG. 3 shows a graphic representation of the determined speeds of the transported bottles 5 in the horizontal direction of the image and along the transport path.
  • the X axis of the coordinate system indicates the location in the X direction along the conveyor belt 4.
  • the value of the speed in the X direction that is to say the speed component Vx, is indicated on the Y axis of the graphic.
  • the hatched line 11 indicates the speeds Vx of the bottles 6, which were determined on the basis of the reference image sequence.
  • the entire length of the conveyor belt 4 shown in the pictures is divided into sections 4a to 4e by the curves 12a to 12d.
  • the speeds of the bottles 5 are greatest and almost the same in the reference image sequence.
  • the magnitude of the speed in the X direction decreases sharply.
  • the speeds of the bottles 5 are considerably lower, but not zero, since the camera captures an oblique view of these route sections.
  • the speeds are also determined in the transport direction perpendicular thereto, which runs into the paper plane in the representations and is not shown here.
  • the speeds are averaged over time.
  • a spatial averaging is also conceivable, in which the averaging or the determination of a statistical parameter takes place over an image area defined around a pixel to be considered.
  • a spatio-temporal averaging could be carried out in which a plurality of successive images of a sequence and of these an image area around a pixel to be considered are used to determine the statistical parameter.
  • a first-order statistical parameter i.e. a temporal averaging of the speed value
  • statistical parameters of a higher order for example the standard deviation or variance, or statistical parameters of a third or even higher order can be used as a reference value for determining a deviation from the ideal case.
  • the invention is explained below on the basis of speed deviations.
  • the speeds determined in this way on the basis of the reference image sequence are stored and serve as reference values for the test image sequences to be subsequently generated.
  • test image sequences can subsequently be generated and evaluated.
  • test image sequences are now generated which show the conveyor belt during normal operation. The faults should be recognized early on using the test pattern sequences.
  • test image sequences are generated with the same camera settings and from the same position as the reference sequence, so that the test image sequences can be compared with the reference image sequence.
  • a test pattern sequence has a duration of a few seconds to a few minutes, the duration of the test pattern sequence being able to deviate from the duration of the reference pattern sequence.
  • the Test image sequences are contiguous to one another so that the area to be monitored is monitored without interruption during monitoring.
  • the speeds of the bottles 5 along the transport path are then determined on the basis of the test image sequences.
  • the speeds or the speed components are preferably determined using the same algorithm that was used for the evaluation of the reference image sequence, so that deviations in speed values due to different determination methods can be excluded.
  • the speeds determined for a test image sequence are then compared with those of the reference image sequence in order to reveal deviations.
  • a determined speed deviation is shown in FIG. 3 as a solid line 13. This indicates that the speed of the bottles 5 in the X direction in front of the curve 12d and on the subsequent conveyor belt section 4e is lower than the reference speed. This means that the bottles 5 are transported from the location before the change of direction 12d to the labeling machine 2 more slowly than in the reference image sequence. However, since bottles 5 are transported at the reference speed to the location from which the transport speed is lower in the route sections lying in front of them, the bottles jam before the direction change 12d of the conveyor belt 4. As a further consequence of such a jam of bottles 5, they can jam or fall over, for example, and thereby trigger a fault in production line 1.
  • a transfer station that places the objects from a first to a second conveyor belt.
  • a station can, for example, essentially be designed as a rotating disk on which the objects are placed and are transported in a rotating manner to be placed on the second conveyor belt. If the rotational speed of the disc deviates from the ideal value, the bottles are thereby placed, for example, on an edge of the second conveyor belt.
  • This position of a bottle 5 on a conveyor belt 4 which deviates from the ideal state can, for example, cause a guide rail to touch, which could brake the bottle or not match the position of the bottle 5 expected by a further processing machine, so that this would cause malfunctions.
  • the non-ideal position of the bottle on the second conveyor belt can therefore be a result of a speed deviation on the one hand, and can also trigger a - further - speed deviation on the other.
  • the comparison of the speeds of the bottles 5 from the test image sequences with those from the reference image sequence over the observed transport route thus enables the exact determination of all locations at which the speeds differ from one another.
  • the location at which the speed of an object deviates from the reference speed for the first time and at which the chain of subsequent deviations and faults begins can thus be determined.
  • Test pattern sequences that have a deviation of the speeds from the reference speeds are permanently stored on a data carrier so that they are permanently available. Those test pattern sequences in which no speed deviation was found are deleted or not saved, since these only show the trouble-free operation and therefore do not provide any relevant information. Since a test pattern sequence lasts from a few seconds to a few minutes, the data volume to be saved is limited. Stored reference image sequences can be reloaded into the computer at a later time and can be used as a comparison for further test image sequences, which may be generated considerably later. However, the prerequisite for this is that the test image sequences are created with the camera settings with which the reference image sequence was created.
  • a reference image sequence can again serve as a reference after a longer time, for example a few days, weeks or months, in order, for example, to determine the changes in the speed values of a production line 1 between two points in time that are relatively long apart. For example, it can thus be determined for an uninterrupted production line 1 whether and, if so, which speed changes can be determined if it is operated over a long period of time.
  • the method thus enables permanent monitoring of a production line or a section thereof, the time and location of the first deviation being ascertained and stored as an image sequence. Furthermore, further measures can be triggered in the event of a detected fault.
  • the computer can be connected to a control system that controls production line 1, so that an alarm can be triggered in it or the machines of the production line can be influenced directly.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a method and an apparatus for monitoring a production line on which objects (5) are transported between machines (2, 3) using transport paths (4). In order to accurately detect faults early, a method having the following method steps is proposed: (a) a reference image sequence which maps at least one transport path (4) to be monitored between machines (2, 3) is generated; (b) a statistical characteristic variable which is derived from the movement of the objects (5) which are transported between the machines (2, 3) is determined; (c) a test image sequence which maps the same transport paths (4) between the machines (2, 3) is generated; (d) a statistical characteristic variable which is derived from the movement of an object (5) is determined for each of the mapped objects (5); (e) the statistical characteristic variable determined for the test image sequence is compared with the statistical characteristic variable determined for the reference image sequence.

Description

Verfahren und Vorrichtung zur Überwachung einer Produktionslinie Method and device for monitoring a production line
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung einer Produktionslinie.The invention relates to a method and a device for monitoring a production line.
Bei der Produktion flüssiger oder fester Konsumgüterartikel werden diese im Laufe des Produktionsprozesses üblicherweise in Behälter gefüllt, um sie so verpackt in den Handel zu bringen. In den Abfüll- und Verpackungsprozessen wird dabei eine große Anzahl gleichartiger Behälter mit möglichst großer Geschwindigkeit befüllt, verschlossen, etikettiert und anschließend in weiteren Umverpackungen verpackt oder gesammelt.In the production of liquid or solid consumer goods, these are usually filled into containers in the course of the production process in order to bring them to the retail trade in such a packaged state. In the filling and packaging processes, a large number of containers of the same type are filled, closed, labeled and then packed or collected in further outer packaging at the highest possible speed.
Die einzelnen Schritte des Befüllens, Verschließens sowie der Etikettierung und weiteren Verpackung werden in einer Produktionslinie üblicherweise von mehreren Maschinen durchgeführt. Die Behälter werden dazu von einer zur nächsten Maschine transportiert. Für den Transport werden dabei Transportbänder, Förderschnecken oder ähnliche Vorrichtungen verwendet, mit denen die Behälter oder Produkte einzeln von einer zur nächsten Maschine transportiert werden.The individual steps of filling, closing, labeling and further packaging are usually carried out in a production line by several machines. The containers are transported from one machine to the next. Transport belts, screw conveyors or similar devices are used for the transport, with which the containers or products are transported individually from one machine to the next.
Das Abfüllen der festen oder flüssigen Produkte in die Behälter erfolgt dabei mit einer möglichst hohen Taktrate. So werden mit bekannten Produktionsanlagen mehrere Hundert Behälter pro Minute befüllt, etikettiert und verpackt und dementsprechend schnell zwischen den einzelnen Maschinen transportiert.The solid or liquid products are filled into the containers at the highest possible cycle rate. With known production systems, several hundred containers are filled, labeled and packed per minute and, accordingly, transported quickly between the individual machines.
Für einen störungsfreien Betrieb einer solchen Produktionsanlage ist ein störungsfreier Transport der Produkte oder Behälter unabdingbar. Werden beispielsweise Behälter mittels eines Transportbandes zu einer Maschine transportiert und wird einer der Behälter nicht in einer Position zu der Maschine geliefert, aus der diese den Behälter weiterverarbeiten kann, so kann die Maschine und damit die Produktionslinie durch diesen Behälter blockiert werden.For the trouble-free operation of such a production plant, trouble-free transport of the products or containers is essential. If, for example, containers are transported to a machine by means of a conveyor belt and if one of the containers is not delivered to the machine in a position from which the machine can further process the container, the machine and thus the production line can be blocked by this container.
Typische Störungen beim Transport der Behälter oder Produkte zwischen den Maschinen sind beispielsweise eine Platzierung außerhalb der zulässigen Grenzen auf dem Transportband oder ein Verdrehen oder Verkippen oder Umstürzen auf einem Transportband. Ursachen solcher Störungen können beispielsweise in unerwartet hohen Toleranzen der geometrischen Abmessungen der zu transportierenden Gegenstände, eine fehlerhafte Einstellung von Transport- oder Handlingsystemen oder zeitlich veränderliche Ursachen sein, wie beispielsweise Vibrationen, schwankende klimatische Bedingungen oder Verschleißerscheinungen.Typical malfunctions when transporting the containers or products between the machines are, for example, placement outside the permissible limits on the conveyor belt or twisting or tilting or overturning on a conveyor belt Conveyor belt. The causes of such faults can be, for example, unexpectedly high tolerances in the geometric dimensions of the objects to be transported, incorrect setting of transport or handling systems or causes that change over time, such as vibrations, fluctuating climatic conditions or signs of wear.
Eine Analyse der Ursachen einer in der Produktionslinie aufgetretenen Störung erfolgt häufig durch geschulte und mit der Produktionslinie vertraute Personen, die anhand des aufgetretenen Schadensbildes versuchen auf die Auslöser rückzuschließen. Eine solche manuelle Fehleranalyse ist zum einen zeit- und personal- und damit kostenaufwändig, zum anderen erlaubt der eingetretene Schaden nur sehr eingeschränkt die Ermittlung der tatsächlichen Auslöser.An analysis of the causes of a malfunction in the production line is often carried out by trained people who are familiar with the production line and who try to identify the triggers based on the damage that has occurred. Such a manual error analysis is on the one hand time and personnel and thus expensive, on the other hand the damage that has occurred only allows the determination of the actual triggers to a very limited extent.
Zur Erfassung und Analyse von Störungen an Transportbändern in Produktionslinien sind verschiedene Vorrichtungen und Verfahren bekannt, die eine automatisierte und permanente Überwachung einer Produktionslinie ermöglichen.Various devices and methods are known for detecting and analyzing faults on conveyor belts in production lines, which enable automated and permanent monitoring of a production line.
Die WO01/50204 beschreibt ein Verfahren und System zur Überwachung einer Produktionslinie, bei dem Sensoren an der zu überwachenden Produktionslinie Produktionsdaten erfassen und an ein Computersystem liefern, welches die gelieferten Daten mit voreingestellten Grenzwerten vergleicht und bei Abweichungen hiervon in geeigneter Weise auf einem Bildschirm diese für die überwachte Produktionslinie anzeigt. Das System erfasst dabei beispielsweise die Menge der ausgestoßenen Ware einer Maschine oder eines Transportbandes und meldet diese an das Computersystem weiter. Damit ermöglicht dieses Verfahren und System die schnelle und komfortable Feststellung einer Abweichung, ohne dass jedoch die Ursachen für die Abweichung ermittelt werden.WO01 / 50204 describes a method and system for monitoring a production line, in which sensors on the production line to be monitored record production data and deliver it to a computer system which compares the supplied data with preset limit values and, in the event of deviations, in a suitable manner on a screen for these displays the monitored production line. The system records, for example, the quantity of goods ejected from a machine or a conveyor belt and reports this to the computer system. This method and system thus enables a deviation to be determined quickly and conveniently, without however determining the causes of the deviation.
Die KR 2003053731 beschreibt eine Vorrichtung zur Überwachung eines Förderbandes, auf welchem Gegenstände befördert werden. Zur Überwachung des Transportbandes weist dieses an seinem elektrischen Antrieb eine Strommesseinrichtung auf. Eine Abweichung der Stromstärke wird hierbei als Indikator für eine Störung interpretiert.KR 2003053731 describes a device for monitoring a conveyor belt on which objects are transported. To monitor the conveyor belt, it has a current measuring device on its electric drive. A deviation in the current strength is interpreted as an indicator of a fault.
Die aus dem Stand der Technik bekannten Verfahren und Systeme zur Überwachung einer Produktionslinie erfassen damit bereits die Auswirkungen einer Störung, beispielsweise eine Verringerung des ausgestoßenen Produktes eines Transportbandes oder eine Änderung in den Betriebsparametern einer Maschine. Diese Informationen sind für die Ermittlung der Ursache zwar hilfreich, lassen jedoch nur bedingt den Rückschluss auf die Auslöser der Störung zu.The methods and systems for monitoring a production line known from the prior art thus already detect the effects of a malfunction, for example a reduction in the output of a conveyor belt or a change in the operating parameters of a machine. Although this information is helpful for determining the cause, it is only possible to draw a limited conclusion about the cause of the fault.
Aufgabe der Erfindung ist es daher ein Verfahren und eine Vorrichtung vorzuschlagen, mit dem die Ursachen einer Störung in einer Produktionslinie erfasst werden können.The object of the invention is therefore to propose a method and a device with which the causes of a fault in a production line can be detected.
Zur Lösung dieser Aufgabe wird ein Verfahren zur Überwachung einer Produktionslinie, bei der Objekte über Transportwege zwischen Maschinen transportiert werden, vorgeschlagen, welches mindestens die folgenden Verfahrensschritte aufweist:To solve this problem, a method for monitoring a production line, in which objects are transported between machines via transport routes, is proposed, which has at least the following method steps:
(1) Generieren einer Referenzbildsequenz, wobei diese mindestens einen Bereich eines zu überwachenden Transportwegs zwischen den Maschinen abbildet;(1) generation of a reference image sequence, which images at least one region of a transport path to be monitored between the machines;
(2) Ermitteln einer von der Bewegung eines zwischen den Maschinen transportierten Objekts abgeleiteten statistischen Kenngröße;(2) determining a statistical parameter derived from the movement of an object transported between the machines;
(3) Generieren einer Testbildsequenz, wobei diese denselben Bereich eines Transportwegs zwischen den Maschinen abbildet;(3) generating a test image sequence, which images the same area of a transport route between the machines;
(4) Ermitteln der von der Bewegung eines Objekts abgeleiteten statistischen Kenngröße für mindestens eines der in der Testbildsequenz abgebildeten Objekte;(4) determining the statistical parameter derived from the movement of an object for at least one of the objects depicted in the test image sequence;
(5) Vergleichen der für die Testbildsequenz ermittelten statistischen Kenngröße mit den für die Referenzbildsequenz ermittelten statistischen Kenngröße.(5) Comparing the statistical parameter determined for the test image sequence with the statistical parameter determined for the reference image sequence.
In dem ersten Verfahrensschritt wird zunächst eine Referenzbildsequenz generiert, die mindestens einen Bereich eines zu überwachenden Transportweges zwischen den Maschinen einer Produktionslinie abbildet. Diese Referenzbildsequenz zeigt den störungsfreien Betrieb des zu überwachenden Teils einer Produktionslinie in einem Zeitraum geeigneter Länge. In idealer Weise erfasst die Referenzbildsequenz nicht nur einen Zeitraum, in dem die zu überwachende Produktionslinie störungsfrei betrieben wird, sondern in dem der zu überwachende Bereich mit möglichst idealen Parametern betrieben wird, so dass sichergestellt ist, dass das System nicht an der Grenze eines Betriebsparameters betrieben wird.In the first method step, a reference image sequence is first generated, which maps at least one area of a transport path to be monitored between the machines of a production line. This reference image sequence shows the trouble-free operation of the part of a production line to be monitored in a period of suitable length. Ideally, the reference image sequence not only captures a period of time in which the production line to be monitored is operated without problems, but in which the area to be monitored is operated with ideal parameters, so that it is ensured that the system is not operated at the limit of an operating parameter becomes.
Zur Generierung der Referenzbildsequenz kann beispielsweise eine Digitalkamera mit CCD- oder CMOS-Chip verwendet werden, mit der der gewünschte Teil einer Produktionslinie in bildgenerierender Weise erfasst wird und von der die einzelnen Bilder einer Bildsequenz über eine Verbindung an einen angeschlossenen Rechner geliefert werden. Alternativ zu einer Digitalkamera könnte eine Bildsequenz zunächst auch mit einer herkömmlichen analog arbeitenden Kamera generiert werden, wobei die Bilder in einem späteren Verfahrensschritt digitalisiert werden. Eine Bildsequenz könnte weiterhin aus mehreren Teilsequenzen, die zu einem Zeitpunkt verschiedene Bereiche einer Produktionslinie erfassen, zusammengesetzt werden, um anschließend als Ganzes verarbeitet zu werden. Auf diese Weise könnte eine Produktionslinie vollständig erfasst und überwacht werden.A digital camera with a CCD or CMOS chip, for example, can be used to generate the reference image sequence, with which the desired part of a production line is captured in an image-generating manner and from which the individual images of an image sequence are supplied to a connected computer via a connection will. As an alternative to a digital camera, an image sequence could initially also be generated with a conventional analog camera, the images being digitized in a later method step. An image sequence could furthermore be composed of several partial sequences that cover different areas of a production line at a time in order to be subsequently processed as a whole. In this way, a production line could be completely recorded and monitored.
Die so generierte Referenzbildsequenz wird auf dem Rechner zunächst gespeichert und in einem nachfolgenden Verfahrensschritt ausgewertet.The reference image sequence generated in this way is first stored on the computer and evaluated in a subsequent method step.
Diese Auswertung in einem späteren Verfahrensschritt umfasst die Ermittlung einer von der Bewegung der Objekte abgeleiteten statistischen Kenngröße, beispielsweise der Geschwindigkeiten der zwischen den Maschinen transportierten Objekte, also der zu verpackenden Produkte oder der Verpackungen oder der verpackten und noch weiter zu verarbeitenden Produkte.This evaluation in a later method step includes the determination of a statistical parameter derived from the movement of the objects, for example the speeds of the objects transported between the machines, that is to say the products to be packaged or the packagings or the packaged and further processed products.
In einer bevorzugten Ausführungsform ist die von der Bewegung eines Objekts abgeleitete statistische Kenngröße die Geschwindigkeit eines Objekts.In a preferred embodiment, the statistical parameter derived from the movement of an object is the speed of an object.
Alternativ kann als von der Bewegung eines Objekts abgeleitete statistische Kenngröße die Beschleunigung ermittelt und verarbeitet werden, wie sie beispielsweise bei der Richtungsänderung einer Bewegung eines Objekts auftritt. Zur Vereinfachung wird im Folgenden jedoch von der Geschwindigkeit eines Objekts als die von der Bewegung des Objekts abgeleitete statistische Kenngröße ausgegangen.Alternatively, the acceleration, as occurs, for example, when the direction of a movement of an object changes, can be determined and processed as a statistical parameter derived from the movement of an object. For the sake of simplicity, however, the speed of an object is assumed below as the statistical parameter derived from the movement of the object.
Die Ermittlung der statistischen Kenngröße, also beispielsweise der Geschwindigkeit eines bewegten Objekts in einer Richtung erfolgt dabei nach bekannten Algorithmen, indem zunächst in aufeinanderfolgenden Bildern korrespondierende Bildpunkte beispielsweise anhand ihres Färb- oder Grauwertes ermittelt werden. Da die Zeitspanne zwischen den aufeinander folgenden Bildern bekannt ist, kann über die Verschiebung der Bildpunkte die Geschwindigkeit des abgebildeten Objekts bestimmt werden. Die ermittelten Geschwindigkeiten der transportierten Objekte werden dann für die weitere Verwendung gespeichert. Auf diese Weise wird für jeden Ort der gesamten in der Referenzbildsequenz abgebildeten Transportstrecke ermittelt, welche Geschwindigkeit ein transportiertes Produkt aufweist.The statistical parameter, for example the speed of a moving object in one direction, is determined using known algorithms by first determining corresponding pixels in successive images, for example on the basis of their color or gray value. Since the time period between the successive images is known, the speed of the imaged object can be determined by moving the image points. The determined speeds of the transported objects are then saved for further use. In this way, for each place the whole in the Transport image shown in the reference image sequence determines the speed of a transported product.
In vorteilhafter Weise wird die statistische Kenngröße eines Objekts für jeden Ort des Transportwegs ermittelt, so dass der Transportweg in seiner gesamten Länge lückenlos überwacht wird.The statistical parameter of an object is advantageously determined for each location on the transport route, so that the entire length of the transport route is monitored without gaps.
Weiterhin ist es vorteilhaft, wenn die statistische Kenngröße für jedes Objekt, welches in der Testbildsequenz abgebildet ist, ermittelt und mit der entsprechenden Kenngröße der Referenzbildsequenz verglichen wird.Furthermore, it is advantageous if the statistical parameter for each object, which is shown in the test image sequence, is determined and compared with the corresponding parameter of the reference image sequence.
Die Referenzbildsequenz muss einen ausreichend langen Zeitraum des störungsfreien Betriebs erfassen, so dass für die Ermittlung der Geschwindigkeiten eine ausreichend große Datenmenge zur Verfügung steht, um zeitliche Mittelungen der Geschwindigkeiten berechnen zu können.The reference image sequence must record a sufficiently long period of trouble-free operation so that a sufficiently large amount of data is available for the determination of the speeds in order to be able to calculate temporal averages of the speeds.
In einem nächsten Verfahrensschritt wird eine Testbildsequenz generiert. Dazu liefert die Kamera die generierten Bilder an den Rechner, der diese in Testbildsequenzen vorgegebener Länge zusammenfasst. Die Testbildsequenz nimmt dabei den Betrieb der Produktionslinie innerhalb einer Zeitspanne auf, der möglicherweise eine Situation aufweist, die im Folgenden als abweichend zu erkennen ist. Damit wird die gesamte Überwachungszeit in Abschnitte unterteilt. Für jeden Zeitabschnitt wird eine Testbildsequenz generiert, die in den weiteren Schritten des Prüfverfahrens weiter verarbeitet wird.In a next process step, a test pattern sequence is generated. For this purpose, the camera delivers the generated images to the computer, which summarizes them in test image sequences of a predetermined length. The test pattern sequence starts the operation of the production line within a period of time, which may have a situation that can be recognized as different below. This divides the entire monitoring time into sections. A test pattern sequence is generated for each time period, which is further processed in the further steps of the test method.
Da das Verfahren in einem späteren Verfahrensschritt Informationen aus der Testbildsequenz mit entsprechenden Informationen aus der Referenzbildsequenz vergleicht, um eine Abweichung der Testbildsequenz vom Idealzustand oder störungsfreien Zustand zu ermitteln, muss die Testbildsequenz dieselben Maschinen und Transportbänder abbilden wie die Referenzbildsequenz.Since the method compares information from the test image sequence with corresponding information from the reference image sequence in a later method step in order to determine a deviation of the test image sequence from the ideal state or fault-free state, the test image sequence must map the same machines and conveyor belts as the reference image sequence.
In vorteilhafter Weise sind die Bildausschnitte bei der Generierung von Referenz- und Testbildsequenz sowie die Bildwiederholraten der Kamera identisch. Anhand der Testbildsequenz werden in einem weiteren Verfahrensschritt nun analog zu der Ermittlung der Geschwindigkeiten in der Referenzbildsequenz die Geschwindigkeiten der Objekte in der Testbildsequenz ermittelt. Für jedes transportierte Objekt wird also die Geschwindigkeit an dem aktuellen Ort des Objekts ermittelt. Dazu wird vorzugsweise derselbe Algorithmus verwendet, wie er zur Ermittlung der Geschwindigkeiten in der Referenzbildsequenz verwendet wurde.The image sections when generating the reference and test image sequence and the image repetition rates of the camera are advantageously identical. Based on the test pattern sequence, the speeds of the objects in the test pattern sequence are now determined in a further method step analogous to the determination of the speeds in the reference image sequence. For each transported object, the speed at the current location of the object is determined. For this purpose, the same algorithm is preferably used as was used to determine the speeds in the reference image sequence.
Die ermittelten Geschwindigkeiten der Objekte in der Testbildsequenz werden in einem weiteren Verfahrensschritt mit den für die Referenzbildsequenz ermittelten Geschwindigkeitswerten verglichen. Werden bei diesem Vergleich Abweichungen zwischen den Geschwindigkeiten ermittelt, so deutet dies auf eine mögliche Ursache für eine Störung hin. Eine solche Abweichung der Geschwindigkeit eines Objekts kann beispielsweise ein Stau von Objekten vor einer Maschine sein, die die Objekte vom Band herunter nimmt.The determined speeds of the objects in the test image sequence are compared in a further method step with the speed values determined for the reference image sequence. If deviations between the speeds are determined in this comparison, this indicates a possible cause of a fault. Such a deviation in the speed of an object can be, for example, a jam of objects in front of a machine that takes the objects off the belt.
Das Verfahren ermittelt damit durch den Vergleich der Geschwindigkeiten der Objekte diejenigen Orte, an denen die tatsächliche Geschwindigkeit eines Objekts von derjenigen abweicht, die das Objekt während des störungsfreien Referenzbetriebs, nämlich während der Generierung der Referenzbildsequenz, an diesem Ort hatte.By comparing the speeds of the objects, the method thus determines those locations where the actual speed of an object deviates from that which the object had at this location during the trouble-free reference operation, namely during the generation of the reference image sequence.
Das Verfahren ermöglicht damit die permanente automatische Überwachung einer Produktionslinie.The process thus enables permanent automatic monitoring of a production line.
In einer bevorzugten Ausführungsform wird bei dem Vergleich eine Abweichung nur dann als Abweichung bewertet, wenn die Größe der Abweichung einen voreingestellten Grenzwert überschreitet. Eine festgestellte Abweichung, die unterhalb des voreingestellten Grenzwertes liegt, wird demnach nicht als relevante Abweichung gewertet. Dadurch wird erreicht, dass ein Toleranzbereich für die Geschwindigkeiten definiert ist, so dass nur die erfahrungsgemäß relevanten Geschwindigkeitsabweichungen als relevant gewertet und entsprechend behandelt werden.In a preferred embodiment, a deviation is only evaluated as a deviation in the comparison if the size of the deviation exceeds a preset limit value. A detected deviation that is below the preset limit value is therefore not considered a relevant deviation. The result of this is that a tolerance range is defined for the speeds, so that only the speed deviations that are known from experience are evaluated as relevant and treated accordingly.
Geschwindigkeitsabweichungen werden in vorteilhafter Weise in der Testbildsequenz so markiert, dass jeder Ort einer Testbildsequenz markiert wird, an dem eine Abweichung der Geschwindigkeit zwischen Objekten der Test- und der Referenzbildsequenz ermittelt wurde. Dabei kann der Ort beispielsweise durch Angabe der X- und Y-Koordinaten in dem Bild angegeben werden. Alternativ oder auch zusätzlich kann der Ort einer Abweichung auf einem Anzeigebildschirm auch farbig gekennzeichnet werden, indem der Ort der Abweichung in einer auffälligen Farbe hinterlegt wird. Wird beispielsweise der Bildbereich, in dem keine Abweichung festgestellt wurde, in grüner Farbe hinterlegt, so kann zur Kenntlichmachung einer festgestellten Geschwindigkeitsabweichung dieser Bereich mit roter Farbe hinterlegt werden.Speed deviations are advantageously marked in the test pattern sequence in such a way that each location of a test pattern sequence is marked at which a deviation in the speed between objects of the test sequence and the reference image sequence was determined. The location can, for example, by specifying the X and Y coordinates in the Image can be given. Alternatively or additionally, the location of a deviation on a display screen can also be marked in color by the location of the deviation being highlighted in a striking color. If, for example, the image area in which no deviation was found is highlighted in green, this area can be highlighted in red to indicate a detected speed deviation.
Die Darstellung der ermittelten Geschwindigkeitsabweichung kann in vorteilhafter Weise durch Angabe der Richtung und des Betrages der ermittelten Abweichung und/oder durch Angabe der Geschwindigkeitskomponenten in X- und Y-Achsenrichtung erfolgen, wobei die X- und Y-Achsen der generierten Bilder als Koordinatensystem zur Darstellung der Geschwindigkeitsabweichungen dienen.The ascertained speed deviation can advantageously be displayed by specifying the direction and the amount of the determined deviation and / or by specifying the speed components in the X and Y axis directions, the X and Y axes of the generated images being used as a coordinate system for display serve the speed deviations.
Eine Testbildsequenz, für die eine relevante Geschwindigkeitsabweichung ermittelt wurde, wird anschließend gespeichert. Werden kurz hintereinander mehrere Testbildsequenzen mit relevanten Geschwindigkeitsabweichungen ermittelt, so kann auf einer Anzeige immer die letzte ermittelte Testbildsequenz dargestellt werden. Ältere Testbildsequenzen können jedoch ebenso angezeigt werden, falls gewünscht, so dass für eine spätere Fehleranalyse über mehrere Testbildsequenzen die Informationen vorhanden sind. Testbildsequenzen, für die keine relevanten Geschwindigkeitsabweichungen ermittelt wurden, können jedoch gelöscht werden bzw. werden nicht gespeichert.A test pattern sequence for which a relevant speed deviation has been determined is then saved. If several test pattern sequences with relevant speed deviations are determined in quick succession, the last determined test pattern sequence can always be shown on a display. Older test pattern sequences can, however, also be displayed, if desired, so that the information is available for a later error analysis over several test pattern sequences. Test pattern sequences for which no relevant speed deviations have been determined can, however, be deleted or are not saved.
Das Verfahren kann in vorteilhafter Weise den Verfahrensschritt aufweisen, dass im Anschluss an die Generierung der Referenzbildsequenz in dieser der größte zusammenhängende bewegte Bildbereich ermittelt wird und nachfolgende Verfahrensschritte ausschließlich für diesen Bildbereich ausgeführt werden. Bei der Generierung der Referenz- und der Testbildsequenz kann die Kamera typischerweise nicht ausschließlich nur diejenigen Gebiete aufnehmen, in denen Objekte von einer zur anderen Maschine transportiert werden. Um die in nachfolgenden Verfahrensschritten zu verarbeitende Datenmenge möglichst klein zu halten und damit eine möglichst schnelle und zeitnahe Verarbeitung der Bildsequenzen zu ermöglichen wird im Anschluss an die Generierung der Referenzbildsequenz der größte zusammenhängende Bereich bestimmt, in dem Objekte bewegt werden. Dies ist der zu überwachende Bereich des Transportbandes. Andere Bereiche, in denen beispielsweise Maschinenteile bewegt werden und Menschen sich bewegen, werden nicht weiter betrachtet. Dies bewirkt zum einen die Reduktion der zu verarbeitenden Datenmenge, zum anderen ist das Verfahren damit unempfindlich gegenüber Bewegungen, die nicht in dem zu überprüfenden Bereich, also im Bereich des Transportbandes stattfinden.The method can advantageously have the method step that, after the generation of the reference image sequence, the largest contiguous moving image area is determined therein and subsequent method steps are carried out exclusively for this image area. When generating the reference and test image sequences, the camera typically cannot only record only those areas in which objects are transported from one machine to another. In order to keep the amount of data to be processed in the subsequent method steps as small as possible and thus to enable the image sequences to be processed as quickly and promptly as possible, the largest contiguous area in which objects are moved is determined after the generation of the reference image sequence. This is the area of the conveyor belt to be monitored. Other areas where, for example, machine parts are moving and people move are not considered any further. On the one hand, this results in a reduction in the amount of data to be processed, and on the other hand, the method is thus insensitive to movements that do not take place in the area to be checked, that is to say in the area of the conveyor belt.
Zur Ermittlung der Bildbereiche und des größten zusammenhängenden Bildbereichs, in denen Objekte bewegt werden, wird für jeden Bildpunkt aller Bilder einer Bildsequenz durch Messung des Färb- oder Grauwertes die zeitliche Varianz des Färb- oder Grauwertes ermittelt. Nur falls dieser signifikant über dem statistischen Rauschpegel liegt, wird dies als Bewegung von Objekten gewertet und der Bereich entsprechend behandelt. Bildbereiche, in denen die zeitliche Varianz von Färb- oder Grauwerten von Bildpunkten unterhalb des statistischen Rauschpegels liegt, werden für die nachfolgenden Verfahrensschritte maskiert und bleiben unberücksichtigt.To determine the image areas and the largest coherent image area in which objects are moved, the temporal variance of the color or gray value is determined for each pixel of all images in an image sequence by measuring the color or gray value. Only if this is significantly above the statistical noise level is this regarded as the movement of objects and the area is treated accordingly. Image areas in which the temporal variance of color or gray values of pixels lies below the statistical noise level are masked for the subsequent method steps and are not taken into account.
Der ermittelte größte zusammenhängende bewegte Bildbereich kann in den Referenz- und Testbildsequenzen markiert, insbesondere farbig hinterlegt werden. Dies ermöglicht bei der Anzeige der Bildsequenzen eine einfache und schnelle Kontrolle, ob dieser als relevant ermittelte Bildausschnitt zutreffend bestimmt wurde.The largest coherent moving image area determined can be marked in the reference and test image sequences, in particular highlighted in color. When the image sequences are displayed, this enables a simple and quick check as to whether the image section determined as relevant has been correctly determined.
In vorteilhafter Weise können in einem weiteren Verfahrensschritt diejenigen Bildbereiche als nicht relevant markiert werden und damit in nachfolgenden Verfahrensschritten unberücksichtigt bleiben, in den die Farbwerte einzelner Bildpunkte zeitlich erheblich schwanken. In solchen Bildbereichen ist es nur mit unverhältnismäßig hohem Rechen- und damit Zeitaufwand möglich, die Bewegung eines Objekts und damit dessen Bewegungsgeschwindigkeit zu ermitteln. Da das Überwachungssystem die Auswertung der generierten Testbildsequenzen jedoch möglichst zeitnah und damit schnell abarbeiten soll, so dass eine Anzeige oder sonstige Reaktion auf eine ermittelte Geschwindigkeitsabweichung möglichst zeitnah erfolgen kann, sind aufwendige Algorithmen zur Ermittlung der Geschwindigkeit eines Objekts in einem Bereich stark wechselnder Farben hier ungeeignet. Solche Bildbereiche werden demzufolge in vorteilhafter Weise als unbeachtlich für nachfolgende Verfahrensschritte markiert. Typischerweise werden solche Bereiche durch Lichtreflexionen auf den transportierten Gegenständen oder durch bewegte Oberflächen von Flüssigkeiten in transparenten Behältern verursacht. Zur Durchführung des Verfahrens wird eine Vorrichtung verwendet, die mindestens eine Kamera zur Generierung der Bilder und einen mit der Kamera verbundenen Rechner aufweist. Die Kamera kann dabei über die Verbindung zu dem Rechner so angesteuert werden, dass die Generierung der Bilder von dem Rechner ausgelöst und gesteuert und die Bilder anschließend an den Rechner übertragen werden. Alle weiteren Verarbeitungsschritte werden auf dem Rechner ausgeführt.In a further method step, those image areas in which the color values of individual pixels fluctuate considerably over time can advantageously be marked as not relevant and thus be disregarded in subsequent method steps. In such image areas, it is only possible with a disproportionately high amount of computation and thus time to determine the movement of an object and thus its speed of movement. However, since the monitoring system should process the evaluation of the generated test image sequences as quickly and as quickly as possible, so that a display or other reaction to a determined speed deviation can occur as soon as possible, complex algorithms for determining the speed of an object in a region of strongly changing colors are unsuitable here . Such image areas are therefore advantageously marked as irrelevant for subsequent process steps. Typically, such areas are caused by light reflections on the transported objects or by moving surfaces of liquids in transparent containers. To carry out the method, a device is used which has at least one camera for generating the images and a computer connected to the camera. The camera can be controlled via the connection to the computer in such a way that the generation of the images is triggered and controlled by the computer and the images are then transferred to the computer. All further processing steps are carried out on the computer.
Das Verfahren kann dabei in einem Computerprogramm abgebildet sein, welches alle Verfahrensschritte des Verfahrens ausführen, die Generierung der Bilder in der Kamera anstoßen und die Bildeinstellungen steuern kann. Die generierten Bilder bzw. Bildsequenzen sowie ermittelte Geschwindigkeitsabweichungen können auf einem Bildschirm angezeigt werden. In den Programmablauf kann dabei jederzeit manuell eingegriffen werden. So kann beispielsweise die Auswertung der Referenzbildsequenz, insbesondere die Ermittlung des größten zusammenhängenden bewegten Bereichs, durch eine Person überprüft werden.The method can be represented in a computer program which can carry out all method steps of the method, trigger the generation of the images in the camera and control the image settings. The generated images or image sequences as well as determined speed deviations can be displayed on a screen. You can manually intervene in the program at any time. For example, the evaluation of the reference image sequence, in particular the determination of the largest contiguous moving area, can be checked by one person.
Die im Anschluss an die Auswertung der Referenzbildsequenz wiederholte Generierung von Testbildsequenzen und deren Auswertung erfolgen dann automatisch.The repeated generation and evaluation of test image sequences following the evaluation of the reference image sequence then take place automatically.
Das Computerprogramm kann dabei so ausgestaltet sein, dass während der Verarbeitung einer Testbildsequenz bereits die Bilder für die nächste Testbildsequenz generiert und zu dem Rechner übertragen werden, so dass eine zeitlich lückenlose Überwachung möglich wird.The computer program can be designed in such a way that the images for the next test pattern sequence are already generated and transmitted to the computer during the processing of a test pattern sequence, so that continuous monitoring is possible.
In der Praxis hat sich als Rechner insbesondere ein tragbarer Rechner, beispielsweise ein Laptop, in Verbindung mit einer tragbaren schwarz-weiß CCD-Kamera bewährt, die zusammen als mobiles System ohne eine zeitaufwändige Installation einsetzbar sind. Insbesondere ermöglicht dieses mobile System eine Überwachung von Maschinen oder Transportbändern, die bislang noch nicht überwacht wurden oder für die eine fest installierte Überwachungsanlage zu aufwändig und deren wirtschaftlicher Nutzen damit zweifelhaft ist. Im Folgenden wird das erfindungsgemäße Verfahren anhand eines Ausführungsbeispiels konkreter beschrieben. Es zeigen:In practice, a portable computer, for example a laptop, in connection with a portable black and white CCD camera, which can be used together as a mobile system without a time-consuming installation, has proven itself as a computer. In particular, this mobile system enables monitoring of machines or conveyor belts that have not yet been monitored or for which a permanently installed monitoring system is too complex and whose economic benefits are therefore questionable. The method according to the invention is described in more detail below using an exemplary embodiment. Show it:
Fig. 1 eine schematische Darstellung einer Produktionslinie mitFig. 1 is a schematic representation of a production line
Überwachungsvorrichtung Fig. 2 eine schematische Darstellung des größten zusammenhängenden bewegtenMonitoring device Fig. 2 is a schematic representation of the largest contiguous moving
Bereichs Fig. 3 eine graphische Darstellung der ermittelten Geschwindigkeit und einer3 shows a graphical representation of the determined speed and a
Abweichung hiervonDeviation from this
Fig. 1 zeigt eine schematische Darstellung einer Produktionslinie 1 mit dem Überwachungssystem. Die Produktionslinie weist eine erste Maschine 2 und eine zweite Maschine 3 auf, die in diesem Ausführungsbeispiel eine Abfüllmaschine 2 und eine Etikettiermaschine 3 sind. Die Abfüllmaschine 2 befüllt die Flaschen 5 mit einer Flüssigkeit. Ein Transportband 4 transportiert Objekte 5, hier transparente Flaschen 5, in der durch den Pfeil 6 angegebenen Richtung zunächst zu der Abfüllmaschine 2, anschließend zu der Etikettiermaschine 3.Fig. 1 shows a schematic representation of a production line 1 with the monitoring system. The production line has a first machine 2 and a second machine 3, which in this exemplary embodiment are a filling machine 2 and a labeling machine 3. The filling machine 2 fills the bottles 5 with a liquid. A conveyor belt 4 transports objects 5, here transparent bottles 5, in the direction indicated by arrow 6 first to the filling machine 2, then to the labeling machine 3.
Das Überwachungssystem weist eine Kamera 7 zur Generierung der Referenz- und der Testbildsequenzen auf, die mit einem Rechner 8 verbunden ist. Die Kamera 7 ist so positioniert, dass diese den zu überwachenden Abschnitt des Transportbandes 4 aus einer zu dem Transportband 4 erhöhten Position erfasst. Die generierten Bildsequenzen zeigen damit eine Aufsicht auf den zu überwachenden Teil der Produktionslinie 1 bzw. den zu überwachenden Teil des Transportbandes 4.The monitoring system has a camera 7 for generating the reference and test image sequences, which is connected to a computer 8. The camera 7 is positioned such that it captures the section of the conveyor belt 4 to be monitored from a position elevated relative to the conveyor belt 4. The generated image sequences thus show a supervision of the part of the production line 1 to be monitored or the part of the conveyor belt 4 to be monitored.
In diesem Ausführungsbeispiel nimmt die Kamera 7 den durch den strichliniert gezeichneten Rahmen 9 begrenzten Bereich auf, der ein Stück des Transportbandes 4 umfasst, welches Flaschen 5 von der Abfüllmaschine 2 zu der Etikettiermaschine 3 transportiert. Die von der Kamera 7 generierten Bildsequenzen bilden damit den zu überwachenden Abschnitt des Transportbandes 4 zwischen den Maschinen 2, 3 ab.In this exemplary embodiment, the camera 7 records the area delimited by the frame 9 drawn in broken lines, which comprises a piece of the conveyor belt 4 which transports bottles 5 from the filling machine 2 to the labeling machine 3. The image sequences generated by the camera 7 thus represent the section of the conveyor belt 4 to be monitored between the machines 2, 3.
Zu Beginn des Verfahrens generiert die Kamera 7 die Bilder für die Referenzbildsequenz, die den störungsfreien und möglichst idealen Transport der Flaschen 5 wiedergibt. Die Referenzbildsequenz weist üblicherweise eine Zeitdauer von wenigen Sekunden bis zu wenigen Minuten auf, typischerweise 60 Sekunden. Für diese Zeitdauer wird durch manuelle Überprüfung sichergestellt, dass der Transport der Flaschen 5 mittels des Transportbandes 4 störungsfrei und mit möglichst idealen Parametern abläuft.At the beginning of the method, the camera 7 generates the images for the reference image sequence, which reproduces the trouble-free and ideally possible transportation of the bottles 5. The reference image sequence usually has a duration of a few seconds to a few minutes, typically 60 seconds. For this period of time is through Manual checking ensures that the transport of the bottles 5 by means of the conveyor belt 4 runs smoothly and with ideal parameters.
Die Kamera 7 wird dabei so eingestellt, dass sie die Bilder für die Referenzbildsequenz mit einer ausreichend hohen Bildfrequenz generiert, so dass die Bewegung der Flaschen 5, welches die hier interessierenden Objekte sind, auf dem zu überwachenden Transportband 4 anhand der Bilder eindeutig nachverfolgt werden kann. In der Praxis hat sich gezeigt, dass die Bildfrequenz vorzugsweise so einzustellen ist, dass sich ein Objekt um maximal 4 Bildpunkte zwischen zwei Bildern fortbewegt.The camera 7 is set so that it generates the images for the reference image sequence with a sufficiently high image frequency so that the movement of the bottles 5, which are the objects of interest here, can be clearly tracked on the conveyor belt 4 to be monitored using the images . In practice, it has been shown that the image frequency should preferably be set so that an object moves by a maximum of 4 pixels between two images.
Bei üblichen Transportbändern und einer Kameraentfernung, die eine ausreichende Größe der bewegten Objekte sicher stellt, sollte die Kamera die Bildsequenzen mit mehr als 50 Bildern pro Sekunde generieren.With conventional conveyor belts and a camera distance that ensures a sufficient size of the moving objects, the camera should generate the image sequences with more than 50 images per second.
Weiterhin ist es ausreichend, wenn die Bildsequenzen in Schwarz-Weiß generiert werden, so dass Farben als Grauwerte abgebildet werden. Die Abbildung des zu überwachenden Bereiches in schwarz-weiß Bildern, in denen die Farben als Grauwerte erfasst werden, ergibt eine geringere Datenmenge, wobei jedoch gleichzeitig sichergestellt ist, dass die generierten Bilder einen ausreichenden Informationsgehalt aufweisen, um ein Objekt und seine jeweilige Geschwindigkeit ermitteln zu können.It is also sufficient if the image sequences are generated in black and white, so that colors are displayed as gray values. The mapping of the area to be monitored in black and white images, in which the colors are recorded as gray values, results in a smaller amount of data, but at the same time it is ensured that the generated images have sufficient information content to determine an object and its respective speed can.
Die Bilder der Referenzbildsequenz werden von der Kamera 7 an den Rechner 8 übermittelt, der die gesamte weitere Verarbeitung der Bilder übernimmt.The images of the reference image sequence are transmitted from the camera 7 to the computer 8, which takes over the entire further processing of the images.
Der Rechner ermittelt in der Referenzbildsequenz zunächst die Bereiche, in denen irgendeine Bewegung stattfindet. Dies ist zum einen der Bereich, in dem die Flaschen 5 mittels des Transportbandes 4 bewegt werden. Zum anderen können in den Bildsequenzen bewegte Maschinenteile oder eine sich bewegende Person abgebildet sein. Die als bewegte Bildbereiche erkannten Bildausschnitte können auf dem Bildschirm des Rechners 8 sichtbar markiert dargestellt werden, so dass eine Kontrollmöglichkeit gegeben ist.In the reference image sequence, the computer first determines the areas in which any movement takes place. On the one hand, this is the area in which the bottles 5 are moved by means of the conveyor belt 4. On the other hand, moving machine parts or a moving person can be depicted in the image sequences. The image sections recognized as moving image areas can be displayed on the screen of the computer 8 so that they can be checked so that they can be checked.
Figur 2 zeigt den durch den strichlinierten Rahmen 9 begrenzten Bildausschnitt, den die Kamera 7 aus ihrer Position aufnimmt. Der Rechner 8 hat für alle Bilder und damit alle Bildsequenzen, die aus dieser Position der Kamera 7 generiert werden, den größten zusammenhängenden bewegten Bildbereich 10 ermittelt. Dieser Bildbereich 10 wird auf dem Bildschirm des Rechners 8 sichtbar markiert, beispielsweise durch farbige Hinterlegung des Bereichs. In Fig. 2 ist der größte zusammenhängende bewegte Bildbereich 10 durch die Schraffierung markiert.FIG. 2 shows the image section delimited by the dashed frame 9, which the camera 7 records from its position. The computer 8 has determined the largest contiguous moving image area 10 for all images and thus all image sequences that are generated from this position of the camera 7. This image area 10 is marked visibly on the screen of the computer 8, for example by the background being colored. In Fig. 2, the largest contiguous moving image area 10 is marked by hatching.
Die Markierung dieses Bildausschnitts, den der Rechner 8 als größten zusammenhängenden bewegten Bereich 10 ermittelt hat, gilt für alle Bilder der Referenzbildsequenz und der Testbildsequenzen, so dass die Ermittlung dieses Bereiches nur einmal zu Beginn des Verfahrens anhand der Referenzbildsequenz durchgeführt werden muss.The marking of this image section, which the computer 8 has determined as the largest contiguous moving area 10, applies to all images of the reference image sequence and the test image sequences, so that the determination of this area only has to be carried out once at the beginning of the method using the reference image sequence.
Alle nachfolgenden Verfahrensschritte werden nur für den erkannten größten zusammenhängenden bewegten Bereich ausgeführt. Dies bewirkt, dass der Rechner 8 nur einen Teilausschnitt des Bildes und demzufolge nur einen Teil der Bilddaten verarbeiten muss, so dass die zu verarbeitende Datenmenge erheblich reduziert ist und die weitere Verarbeitung zeitnah erfolgen kann.All subsequent method steps are only carried out for the largest coherent moving area identified. This has the effect that the computer 8 only has to process a partial section of the image and consequently only a part of the image data, so that the amount of data to be processed is considerably reduced and further processing can take place promptly.
Figur 3 zeigt eine graphische Darstellung der ermittelten Geschwindigkeiten der transportierten Flaschen 5 in horizontaler Bildrichtung und entlang des Transportweges. Die X-Achse des Koordinatensystems gibt den Ort in X-Richtung entlang des Transportbandes 4 an. Auf der Y-Achse der Graphik ist der Wert der Geschwindigkeit in X-Richtung, also die Geschwindigkeitskomponente Vx angegeben.FIG. 3 shows a graphic representation of the determined speeds of the transported bottles 5 in the horizontal direction of the image and along the transport path. The X axis of the coordinate system indicates the location in the X direction along the conveyor belt 4. The value of the speed in the X direction, that is to say the speed component Vx, is indicated on the Y axis of the graphic.
Die schraffierte Linie 11 gibt die Geschwindigkeiten Vx der Flaschen 6 an, die anhand der Referenzbildsequenz ermittelt wurden. Die gesamte Länge des auf den Bildern abgebildeten Transportbandes 4 ist durch die Kurven 12a bis 12d in die Streckenabschnitte 4a bis 4e unterteilt. Auf dem ersten Streckenabschnitt 4a und den dazu parallelen Abschnitten 4c und 4e sind die Geschwindigkeiten der Flaschen 5 in der Referenzbildsequenz am größten und nahezu gleich groß. In den Kurven 12a bis 12d nimmt der Betrag der Geschwindigkeit in X-Richtung jeweils stark ab. Auf den in der Zeichnung in die Tiefe laufenden Streckenabschnitten 4b und 4d sind die Geschwindigkeiten der Flaschen 5 erheblich geringer, jedoch nicht Null, da die Kamera eine Schrägansicht dieser Streckenabschnitte erfasst. Analog zu der Ermittlung der Geschwindigkeiten in X-Richtung erfolgt auch eine Ermittlung der Geschwindigkeiten in die hierzu senkrechte Transportrichtung, die in den Darstellungen in die Papierebene hinein läuft und hier nicht dargestellt ist.The hatched line 11 indicates the speeds Vx of the bottles 6, which were determined on the basis of the reference image sequence. The entire length of the conveyor belt 4 shown in the pictures is divided into sections 4a to 4e by the curves 12a to 12d. On the first route section 4a and the sections 4c and 4e parallel thereto, the speeds of the bottles 5 are greatest and almost the same in the reference image sequence. In the curves 12a to 12d, the magnitude of the speed in the X direction decreases sharply. On the route sections 4b and 4d running in depth in the drawing, the speeds of the bottles 5 are considerably lower, but not zero, since the camera captures an oblique view of these route sections. Analogously to the determination of the speeds in the X direction, the speeds are also determined in the transport direction perpendicular thereto, which runs into the paper plane in the representations and is not shown here.
Die Geschwindigkeiten werden dabei zeitlich gemittelt. Alternativ zu einer zeitlichen Mittelung der Geschwindigkeiten ist auch eine räumliche Mittelung denkbar, bei der die Mittelung oder die Ermittlung einer statistischen Kenngröße über einen um einen zu betrachtenden Bildpunkt herum festgelegten Bildbereich stattfindet. In einer weiteren Alternative könnte eine raumzeitliche Mittelung erfolgen, in dem mehrere aufeinander folgende Bilder einer Sequenz und von diesen jeweils ein Bildbereich um einen zu betrachtenden Bildpunkt zur Ermittlung der statistischen Kenngröße herangezogen wird.The speeds are averaged over time. As an alternative to a temporal averaging of the speeds, a spatial averaging is also conceivable, in which the averaging or the determination of a statistical parameter takes place over an image area defined around a pixel to be considered. In a further alternative, a spatio-temporal averaging could be carried out in which a plurality of successive images of a sequence and of these an image area around a pixel to be considered are used to determine the statistical parameter.
Anstelle einer solchen statistischen Kenngröße erster Ordnung, also einer zeitlichen Mittelung des Geschwindigkeitswertes, können auch statistische Kenngrößen höherer Ordnung, beispielsweise die Standardabweichung oder Varianz, oder statistische Kenngrößen von dritter oder noch höher Ordnung als Bezugswert für die Feststellung einer Abweichung vom Idealfall herangezogen werden. Der Einfachheit halber wird jedoch im Folgenden die Erfindung anhand von Geschwindigkeitsabweichungen erläutert.Instead of such a first-order statistical parameter, i.e. a temporal averaging of the speed value, statistical parameters of a higher order, for example the standard deviation or variance, or statistical parameters of a third or even higher order can be used as a reference value for determining a deviation from the ideal case. For the sake of simplicity, however, the invention is explained below on the basis of speed deviations.
Die so anhand der Referenzbildsequenz ermittelten Geschwindigkeiten werden gespeichert und dienen für die nachfolgend zu generierenden Testbildsequenzen als Referenzwerte.The speeds determined in this way on the basis of the reference image sequence are stored and serve as reference values for the test image sequences to be subsequently generated.
Nachdem die Referenzgeschwindigkeitswerte in X- und Y-Richtung jeweils aus der Referenzbildsequenz ermittelt wurden, können nachfolgend die Testbildsequenzen generiert und ausgewertet werden. Zur Überwachung des normalen Betriebes des Transportbandes werden daher nun Testbildsequenzen generiert, die das Transportband während des Normalbetriebes zeigen. Anhand der Testbildsequenzen sollen die Störungen frühzeitig erkannt werden.After the reference speed values in the X and Y directions have each been determined from the reference image sequence, the test image sequences can subsequently be generated and evaluated. To monitor the normal operation of the conveyor belt, test image sequences are now generated which show the conveyor belt during normal operation. The faults should be recognized early on using the test pattern sequences.
Die Testbildsequenzen werden mit den gleichen Kameraeinstellungen und aus der gleichen Position wie die Referenzsequenz generiert, so dass die Testbildsequenzen mit der Referenzbildsequenz vergleichbar sind. Eine Testbildsequenz weist dabei eine Zeitdauer von wenigen Sekunden bis zu einigen Minuten auf, wobei die Zeitdauer der Testbildsequenz von der Dauer der Referenzbildsequenz abweichen kann. Die Testbildsequenzen schließen zeitlich lückenlos aneinander an, so dass während der Überwachung der zu überwachende Bereich ohne Unterbrechung überwacht wird.The test image sequences are generated with the same camera settings and from the same position as the reference sequence, so that the test image sequences can be compared with the reference image sequence. A test pattern sequence has a duration of a few seconds to a few minutes, the duration of the test pattern sequence being able to deviate from the duration of the reference pattern sequence. The Test image sequences are contiguous to one another so that the area to be monitored is monitored without interruption during monitoring.
Anhand der Testbildsequenzen werden anschließend die Geschwindigkeiten der Flaschen 5 entlang des Transportweges ermittelt. Vorzugsweise werden die Geschwindigkeiten bzw. die Geschwindigkeitskomponenten mit dem selben Algorithmus ermittelt, der für die Auswertung der Referenzbildsequenz benutzt wurde, so dass Abweichungen in Geschwindigkeitswerten aufgrund unterschiedlicher Bestimmungsverfahren auszuschließen sind.The speeds of the bottles 5 along the transport path are then determined on the basis of the test image sequences. The speeds or the speed components are preferably determined using the same algorithm that was used for the evaluation of the reference image sequence, so that deviations in speed values due to different determination methods can be excluded.
Die für eine Testbildsequenz ermittelten Geschwindigkeiten werden dann mit denen der Referenzbildsequenz verglichen, um Abweichungen aufzudecken. Eine ermittelte Geschwindigkeitsabweichung ist in Fig. 3 als massive Linie 13 eingezeichnet. Diese zeigt an, dass die Geschwindigkeit der Flaschen 5 in X-Richtung vor der Kurve 12d und auf dem nachfolgenden Transportbandabschnitt 4e geringer ist als die Referenzgeschwindigkeit. Dies bedeutet, dass die Flaschen 5 ab dem Ort vor der Richtungsänderung 12d langsamer zu der Etikettiermaschine 2 transportiert werden als in der Referenzbildsequenz. Da jedoch in den davor liegenden Streckenabschnitten die Flaschen 5 mit der Referenzgeschwindigkeit bis zu dem Ort transportiert werden, ab dem die Transportgeschwindigkeit geringer ist, stauen sich die Flaschen vor der Richtungsänderung 12d des Transportbandes 4. Als weitere Folge eines solchen Staus der Flaschen 5 können diese sich beispielsweise verklemmen oder umfallen und dadurch eine Störung in der Produktionslinie 1 auslösen.The speeds determined for a test image sequence are then compared with those of the reference image sequence in order to reveal deviations. A determined speed deviation is shown in FIG. 3 as a solid line 13. This indicates that the speed of the bottles 5 in the X direction in front of the curve 12d and on the subsequent conveyor belt section 4e is lower than the reference speed. This means that the bottles 5 are transported from the location before the change of direction 12d to the labeling machine 2 more slowly than in the reference image sequence. However, since bottles 5 are transported at the reference speed to the location from which the transport speed is lower in the route sections lying in front of them, the bottles jam before the direction change 12d of the conveyor belt 4. As a further consequence of such a jam of bottles 5, they can jam or fall over, for example, and thereby trigger a fault in production line 1.
Die Geschwindigkeiten per se sowie die Abweichungen der Geschwindigkeiten müssen dabei nicht in eine physikalische Einheit umgerechnet werden. Für den Vergleich der Geschwindigkeiten ist die absolute Größe der Geschwindigkeiten unerheblich. Daher können sowohl die Geschwindigkeiten selbst als auch die Abweichungen in der Pseudoeinheit „Pixel zwischen aufeinanderfolgenden Bildern" angegeben werden. Diese vereinfachte Betrachtung der Geschwindigkeiten sowie der Abweichungen vereinfacht die Auswertung der Bildsequenzen erheblich und verringert damit den zur Auswertung notwendigen Rechenaufwand. Eine solche Abweichung in der Geschwindigkeit kann beispielsweise dadurch entstehen, dass die Flaschen an einer Stelle des Transportbandes 4 an einer Führungsschiene entlang reiben und dadurch gebremst werden.The speeds per se and the deviations of the speeds do not have to be converted into a physical unit. The absolute size of the speeds is irrelevant for the comparison of the speeds. Therefore, both the speeds themselves and the deviations can be specified in the pseudo-unit "pixel between successive images". This simplified consideration of the speeds and the deviations considerably simplifies the evaluation of the image sequences and thus reduces the computational effort required for the evaluation. Such a deviation in speed can arise, for example, in that the bottles rub along a guide rail at one point on the conveyor belt 4 and are thereby braked.
Eine weitere mögliche Quelle für eine Geschwindigkeitsabweichung kann beispielsweise eine Übergabestation sein, die die Objekte von einem ersten auf ein zweites Transportband setzt. Eine solche Station kann beispielsweise im Wesentlichen als rotierende Scheibe ausgebildet sein, auf der die Objekte aufgesetzt werden und ein Stück weit rotierend transportiert werden, um auf das zweite Transportband aufgesetzt zu werden. Weicht die Rotationsgeschwindigkeit der Scheibe von dem Idealwert ab, so werden dadurch die Flaschen beispielsweise an einem Rand des zweiten Transportbandes platziert. Diese vom Idealzustand abweichende Position einer Flasche 5 auf einem Transportband 4 kann beispielsweise das Berühren einer Führungsschiene verursachen, was die Flasche bremsen könnte oder nicht zu der von einer weiterverarbeitenden Maschine erwarteten Position der Flasche 5 passen, so dass hierdurch Störungen bewirkt würden. Die nicht ideale Position der Flasche auf dem zweiten Transportband kann damit zum einen eine Folge einer Geschwindigkeitsabweichung sein, zum anderen auch Auslöser einer - weiteren - Geschwindigkeitsabweichung sein.Another possible source for a speed deviation can be, for example, a transfer station that places the objects from a first to a second conveyor belt. Such a station can, for example, essentially be designed as a rotating disk on which the objects are placed and are transported in a rotating manner to be placed on the second conveyor belt. If the rotational speed of the disc deviates from the ideal value, the bottles are thereby placed, for example, on an edge of the second conveyor belt. This position of a bottle 5 on a conveyor belt 4 which deviates from the ideal state can, for example, cause a guide rail to touch, which could brake the bottle or not match the position of the bottle 5 expected by a further processing machine, so that this would cause malfunctions. The non-ideal position of the bottle on the second conveyor belt can therefore be a result of a speed deviation on the one hand, and can also trigger a - further - speed deviation on the other.
Der Vergleich der Geschwindigkeiten der Flaschen 5 aus den Testbildsequenzen mit denjenigen aus der Referenzbildsequenz über die beobachtete Transportstrecke ermöglicht so die genaue Bestimmung aller Orte, an denen die Geschwindigkeiten voneinander abweichen. Insbesondere kann so der Ort bestimmt werden, an dem die Geschwindigkeit eines Objekts erstmalig von der Referenzgeschwindigkeit abweicht und an dem somit die Kette nachfolgender Abweichungen und Störungen beginnt.The comparison of the speeds of the bottles 5 from the test image sequences with those from the reference image sequence over the observed transport route thus enables the exact determination of all locations at which the speeds differ from one another. In particular, the location at which the speed of an object deviates from the reference speed for the first time and at which the chain of subsequent deviations and faults begins can thus be determined.
Testbildsequenzen, die eine Abweichung der Geschwindigkeiten von den Referenzgeschwindigkeiten aufweisen, werden auf einem Datenträger dauerhaft gespeichert, so dass diese dauerhaft zur Verfügung stehen. Diejenigen Testbildsequenzen, bei denen keine Geschwindigkeitsabweichung festgestellt wurde, werden gelöscht oder nicht gespeichert, da diese nur den störungsfreien Betrieb zeigen und somit keine relevante Information liefern. Da eine Testbildsequenz wenige Sekunden bis zu einigen Minuten dauert, wird somit das zu speichernde Datenvolumen begrenzt. Gespeicherte Referenzbildsequenzen können zu einem späteren Zeitpunkt wieder in den Rechner geladen werden und für weitere Testbildsequenzen, die möglicherweise erheblich später generiert werden, als Vergleich dienen. Voraussetzung hierfür ist jedoch, dass die Testbildsequenzen mit den Kameraeinstellungen erstellt werden, mit denen die Referenzbildsequenz erstellt wurde. Auf diese Weise kann eine Referenzbildsequenz nach einer längeren Zeit, beispielsweise einigen Tagen, Wochen oder Monaten, wieder als Referenz dienen, um beispielsweise die Änderungen der Geschwindigkeitswerte einer Produktionslinie 1 zwischen zwei vergleichsweise lang auseinanderliegen Zeitpunkten zu ermitteln. Beispielsweise kann so für eine ununterbrochen laufende Produktionslinie 1 ermittelt werden, ob und gegebenenfalls welche Geschwindigkeitsänderungen feststellbar sind, wenn diese über einen langen Zeitraum betrieben wird.Test pattern sequences that have a deviation of the speeds from the reference speeds are permanently stored on a data carrier so that they are permanently available. Those test pattern sequences in which no speed deviation was found are deleted or not saved, since these only show the trouble-free operation and therefore do not provide any relevant information. Since a test pattern sequence lasts from a few seconds to a few minutes, the data volume to be saved is limited. Stored reference image sequences can be reloaded into the computer at a later time and can be used as a comparison for further test image sequences, which may be generated considerably later. However, the prerequisite for this is that the test image sequences are created with the camera settings with which the reference image sequence was created. In this way, a reference image sequence can again serve as a reference after a longer time, for example a few days, weeks or months, in order, for example, to determine the changes in the speed values of a production line 1 between two points in time that are relatively long apart. For example, it can thus be determined for an uninterrupted production line 1 whether and, if so, which speed changes can be determined if it is operated over a long period of time.
Das Verfahren ermöglicht damit eine permanente Überwachung einer Produktionslinie oder eines Abschnitts davon, wobei der Zeitpunkt und der Ort der ersten Abweichung ermittelt und als Bildsequenz gespeichert werden. Weiterhin können im Falle einer erkannten Störung weitere Maßnahmen ausgelöst werden. Beispielsweise kann der Rechner mit einem Leitsystem, welches die Produktionslinie 1 steuert, verbunden sein, so dass in diesem ein Alarm ausgelöst oder die Maschinen der Produktionslinie direkt beeinflusst werden können. The method thus enables permanent monitoring of a production line or a section thereof, the time and location of the first deviation being ascertained and stored as an image sequence. Furthermore, further measures can be triggered in the event of a detected fault. For example, the computer can be connected to a control system that controls production line 1, so that an alarm can be triggered in it or the machines of the production line can be influenced directly.

Claims

Patentansprüche Claims
1. Verfahren zur Überwachung einer Produktionslinie (1), bei der Objekte (5) über Transportwege (4) zwischen Maschinen (2, 3) transportiert werden, mit folgendenVerfahrensschritten:Process for monitoring a production line (1), in which objects (5) are transported between machines (2, 3) via transport routes (4), with the following process steps:
(a) Generieren einer Referenzbildsequenz, wobei diese mindestens einen Bereich eines zu überwachenden Transportwegs (4) zwischen Maschinen (2,3) abbildet;(a) generating a reference image sequence, said image sequence representing at least one area of a transport path (4) to be monitored between machines (2, 3);
(b) Ermitteln einer von der Bewegung eines zwischen den Maschinen (2, 3) transportierten Objektes(5) abgeleiteten statistischen Kenngröße;(b) determining a statistical parameter derived from the movement of an object (5) transported between the machines (2, 3);
(c) Generieren einer Testbildsequenz, wobei diese denselben Bereich eines Transportwegs (4) zwischen den Maschinen (2, 3) abbildet;(c) generating a test image sequence, which images the same area of a transport route (4) between the machines (2, 3);
(d) Ermitteln der von der Bewegung eines Objekts (5) abgeleiteten statistischen Kenngröße für mindestens eines der in der Testbildsequenz abgebildeten Objekte (5);(d) determining the statistical parameter derived from the movement of an object (5) for at least one of the objects (5) depicted in the test image sequence;
(e) Vergleichen der für die Testbildsequenz ermittelten statistischen Kenngröße mit der für die Referenzbildsequenz ermittelten statistischen Kenngröße.(e) comparing the statistical parameter determined for the test image sequence with the statistical parameter determined for the reference image sequence.
2. Verfahren nach Anspruch 1 , wobei die von der Bewegung eines Objekts (5) abgeleitete statistische Kenngröße die Geschwindigkeit des Objekts ist.2. The method according to claim 1, wherein the statistical parameter derived from the movement of an object (5) is the speed of the object.
3. Verfahren nach einem der vorstehenden Ansprüche, wobei die statistische Kenngröße für jeden Ort des Transportwegs (4) ermittelt wird.3. The method according to any one of the preceding claims, wherein the statistical parameter for each location of the transport route (4) is determined.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei die statistische Kenngröße für jedes der in der Testbildsequenz abgebildeten Objekte (5) ermittelt wird.4. The method according to any one of the preceding claims, wherein the statistical parameter for each of the objects (5) shown in the test image sequence is determined.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei eine Abweichung der statistischen Kenngröße nur dann als Abweichung bewertet wird, wenn die Abweichung einen voreingestellten Grenzwert überschreitet. 5. The method according to any one of the preceding claims, wherein a deviation of the statistical parameter is evaluated as a deviation only if the deviation exceeds a preset limit.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei in der Testbildsequenz jeder Ort markiert wird, an dem eine Abweichung der statistischen Kenngröße zwischen den Objekten (5) der Test- und der Referenzbildsequenz ermittelt wurde.6. The method according to any one of the preceding claims, wherein each location is marked in the test image sequence at which a deviation of the statistical parameter between the objects (5) of the test and the reference image sequence was determined.
7. Verfahren nach Anspruch 6, wobei die ermittelte Kenngrößenabweichung in ihrer X- Achsenkomponente und ihrer Y-Achsenkomponente dargestellt wird.7. The method according to claim 6, wherein the determined parameter deviation is shown in its X-axis component and its Y-axis component.
8. Verfahren nach Anspruch 6, wobei der Ort einer ermittelten Kenngrößenabweichung in der Testbildsequenz farbig markiert wird.8. The method according to claim 6, wherein the location of a determined parameter deviation in the test image sequence is marked in color.
9. Verfahren nach einem der vorstehenden Ansprüche, wobei eine Testbildsequenz gespeichert wird, falls eine Kenngrößenabweichung zwischen Testbildsequenz und Referenzbildsequenz ermittelt wurde.9. The method according to any one of the preceding claims, wherein a test image sequence is stored if a parameter deviation between the test image sequence and the reference image sequence has been determined.
10. Verfahren nach einem der vorstehenden Ansprüche, wobei das Verfahren weiterhin den Schritt aufweist, dass im Anschluss an die Generierung der Referenzbildsequenz in dieser der größte zusammenhängende bewegte Bildbereich (10) ermittelt wird und nachfolgende Verfahrensschritte ausschließlich für diesen Bildbereich ausgeführt werden.10. The method according to any one of the preceding claims, wherein the method further comprises the step that, after the generation of the reference image sequence, the largest contiguous moving image area (10) is determined in this and subsequent method steps are carried out exclusively for this image area.
11. Verfahren nach Anspruch 10, wobei der ermittelte größte zusammenhängende bewegte Bildbereich (10) in den Referenz- und Testbildsequenzen sichtbar markiert wird.11. The method according to claim 10, wherein the determined largest coherent moving image area (10) is marked in the reference and test image sequences.
12. Verfahren nach Anspruch 10 oder 11 , wobei der ermittelte Bildbereich (10) in der Referenz- und den Testbildsequenzen farbig hinterlegt wird.12. The method according to claim 10 or 11, wherein the determined image area (10) is highlighted in color in the reference and test image sequences.
13. Verfahren nach einem der vorstehenden Ansprüche, wobei für die Referenz- und die Testbildsequenz Bildbereiche ermittelt und in den weiteren Verfahrensschritten unberücksichtigt bleiben, in denen die Farbwerte von Bildpunkten zeitlich starke Schwankungen aufweisen. 13. The method according to any one of the preceding claims, wherein image areas are determined for the reference and the test image sequence and are not taken into account in the further method steps in which the color values of pixels have large temporal fluctuations.
14. Verfahren nach einem der vorstehenden Ansprüche, wobei bei der Ermittlung der Geschwindigkeiten der transportierten Objekte (5) jeweils für jeden Ort ein Mittelwert gebildet wird.14. The method according to any one of the preceding claims, wherein an average value is formed for each location when determining the speeds of the transported objects (5).
15. Verfahren nach einem der vorstehenden Ansprüche, wobei die Referenz- und Testbildsequenzen aus einer gegenüber der Transportstrecke (4) erhöhten Aufnahmeposition generiert wird.15. The method according to any one of the preceding claims, wherein the reference and test image sequences is generated from an elevated position relative to the transport path (4).
16. Verfahren nach einem der vorstehenden Ansprüche, wobei die Referenz- und die Testbildsequenzen mittels einer Digitalkamera (7) und aus der gleichen Kameraposition generiert werden.16. The method according to any one of the preceding claims, wherein the reference and the test image sequences are generated by means of a digital camera (7) and from the same camera position.
17. Verfahren nach Anspruch 16, wobei die Kameraposition und die Kameraeinstellungen so gewählt werden, dass die transportierten Objekte (5) im störungsfreien Betrieb zwischen zwei aufeinanderfolgenden Bildern eine Verschiebung aufgrund ihrer Bewegung von maximal 4 Bildpunkten aufweisen.17. The method according to claim 16, wherein the camera position and the camera settings are selected such that the transported objects (5) have a shift due to their movement of a maximum of 4 pixels in the trouble-free operation between two successive images.
18. Vorrichtung zur Überwachung einer Produktionslinie (1) mit einem Verfahren nach einem der vorstehenden Ansprüche, wobei die Vorrichtung mindestens aufweist:18. Device for monitoring a production line (1) with a method according to one of the preceding claims, wherein the device comprises at least:
(a) Mittel (7) zum Generieren von Bildsequenzen, welche den zu überwachenden Transportweg (4) abbilden;(a) means (7) for generating image sequences which represent the transport path (4) to be monitored;
(b) einen Rechner (8) zum Ermitteln und Vergleichen von statistischen Kenngrößen, die von der Bewegung der Objekte (5) durch Auswertung der Bildsequenzen abgeleitet sind.(b) a computer (8) for determining and comparing statistical parameters which are derived from the movement of the objects (5) by evaluating the image sequences.
19. Vorrichtung nach Anspruch 17, wobei das Mittel (7) zum Generieren der Bildsequenzen eine Digitalkamera und der Rechner (8) ein tragbarer Computer ist.19. The apparatus of claim 17, wherein the means (7) for generating the image sequences is a digital camera and the computer (8) is a portable computer.
20. Vorrichtung nach einem der vorstehenden Ansprüche 17 oder 18, wobei die Vorrichtung zur Übertragung von Steuersignalen mit einem Steuergerät der Produktionslinie (1) verbunden ist. 20. Device according to one of the preceding claims 17 or 18, wherein the device for transmitting control signals is connected to a control unit of the production line (1).
EP06819009A 2006-01-19 2006-12-08 Method and apparatus for monitoring a production line Withdrawn EP1984795A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006002704A DE102006002704A1 (en) 2006-01-19 2006-01-19 Method and device for monitoring a production line
PCT/EP2006/011821 WO2007082575A1 (en) 2006-01-19 2006-12-08 Method and apparatus for monitoring a production line

Publications (1)

Publication Number Publication Date
EP1984795A1 true EP1984795A1 (en) 2008-10-29

Family

ID=37810312

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06819009A Withdrawn EP1984795A1 (en) 2006-01-19 2006-12-08 Method and apparatus for monitoring a production line

Country Status (4)

Country Link
US (1) US20110019877A1 (en)
EP (1) EP1984795A1 (en)
DE (1) DE102006002704A1 (en)
WO (1) WO2007082575A1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI2080073T1 (en) * 2006-10-24 2011-10-28 Krones Ag Manipulation aid for a device for manipulating containers
DE102007048684B4 (en) 2007-10-10 2010-09-09 Polysius Ag laboratory system
JP6020196B2 (en) * 2013-01-23 2016-11-02 富士ゼロックス株式会社 Information providing apparatus and program
US10640249B2 (en) 2016-09-09 2020-05-05 The Procter & Gamble Company Track system for creating finished products
EP3509979B1 (en) 2016-09-09 2023-06-14 The Procter & Gamble Company System and method for independently routing vehicles and delivering containers and closures to unit operation stations
MX2019002780A (en) 2016-09-09 2019-09-04 Procter & Gamble System and method for simultaneously filling containers of different shapes and/or sizes.
EP3510457A1 (en) 2016-09-09 2019-07-17 The Procter and Gamble Company Methods for simultaneously producing different products on a single production line
US10558201B2 (en) 2016-09-09 2020-02-11 The Procter & Gamble Company System and method for producing products based upon demand
CA3035965C (en) 2016-09-09 2022-01-11 The Procter & Gamble Company System and method for simultaneously filling containers with different fluent compositions
EP3510459A2 (en) 2016-09-09 2019-07-17 The Procter and Gamble Company System and method for independently routing container-loaded vehicles to create different finished products
DE102018110062A1 (en) * 2018-04-26 2019-10-31 IMAGO Technologies GmbH Method for error detection of automated processes
EP4047512A1 (en) 2021-02-17 2022-08-24 vR production (DUKTUS) gmbh Method for tracking objects in a production process
DE102021104623A1 (en) * 2021-02-26 2022-09-01 Ssi Schäfer Automation Gmbh (At) Material flow control with virtual sensors
DE102021210749B3 (en) 2021-09-27 2023-03-23 OPTIMA pharma GmbH Method and device for monitoring a filling and/or closing plant and/or post-processing plant
CN117270481B (en) * 2023-11-22 2024-02-23 北京东大金智科技股份有限公司 Data processing method and system for industrial personal computer
CN117472015B (en) * 2023-12-28 2024-03-22 承德石油高等专科学校 Industrial processing control method based on machine vision

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002792A (en) * 1993-11-16 1999-12-14 Hamamatsu Photonics Kk Semiconductor device inspection system
DE19756503B4 (en) * 1997-12-19 2007-09-27 Michael Weinig Ag moulder
US6175644B1 (en) * 1998-05-01 2001-01-16 Cognex Corporation Machine vision system for object feature analysis and validation based on multiple object images
US6324298B1 (en) * 1998-07-15 2001-11-27 August Technology Corp. Automated wafer defect inspection system and a process of performing such inspection
US6856859B1 (en) * 1998-12-31 2005-02-15 Kimberly-Clark Worldwide, Inc. Method of controlling cross-direction alignment in manufacturing process
US6549647B1 (en) * 2000-01-07 2003-04-15 Cyberoptics Corporation Inspection system with vibration resistant video capture
JP2003083718A (en) * 2001-09-14 2003-03-19 Mitsubishi Electric Engineering Co Ltd Visual inspection system for high-speed moving body

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007082575A1 *

Also Published As

Publication number Publication date
US20110019877A1 (en) 2011-01-27
DE102006002704A1 (en) 2007-08-02
WO2007082575A1 (en) 2007-07-26
WO2007082575A9 (en) 2007-11-15

Similar Documents

Publication Publication Date Title
EP1984795A1 (en) Method and apparatus for monitoring a production line
EP2375380B1 (en) Method and device for measuring a parameter during the transport of objects to a processing device
DE4027359A1 (en) SYSTEM AND METHOD FOR DETECTING DANGEROUS OBJECTS
DE102007014802A1 (en) Method for monitoring, controlling and optimizing filling systems for foodstuffs, in particular for beverage bottles
DE102007013299A1 (en) Sensor device and system with a conveyor and a sensor device
DE102007049702A1 (en) picking line
EP2882296A2 (en) Method and device for monitoring a meat processing machine
EP2498157A9 (en) Control device and control method for a machine for producing rod-shaped products from the tobacco manufacturing industry
EP1768006B1 (en) System and method for facilitating the adjustment of systems, by which objects are moved
EP2605212A2 (en) Method and apparatus for optically testing of objects to be tested in the production and/or packaging of cigarettes
DE112008001839T5 (en) Tester and test method using penetrating radiation
DE102016100134B4 (en) Method and device for examining an object using computer vision
DE3002186C2 (en) Object inspection system
DE102006060741A1 (en) Method and device for the optical inspection of objects
DE4332645C2 (en) Beverage filling machine
WO2007017337A1 (en) Failure identifying and analysing system
EP3328761A1 (en) Conveying system
EP3036684A2 (en) Method for detecting errors for at least one image processing system
EP3023774A1 (en) Inspection device for monitoring of production processes
WO2020008077A1 (en) Method and device for optically testing preforms
DE102021202510A1 (en) Method for detecting alarm objects in pieces of luggage using a detection device
DE102022111734A1 (en) Device and method for inspecting containers with position detection
EP4123506A1 (en) Method and device for analyzing a product, training method, system, computer program, and computer readable storage medium
DE2912559C2 (en) Pattern information processing method and means
WO2023110299A1 (en) Method for carrying out an adjustment operation of a container inspection apparatus, and container inspection apparatus

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080326

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20110426

R17C First examination report despatched (corrected)

Effective date: 20110504

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110816