-
Die vorliegende Erfindung betrifft allgemein die Steuerung einer Abfüllanlage für flüssige oder feste Produkte, insbesondere für Produkte aus der Lebensmittelindustrie. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zur Analyse eines dynamischen Zustandes einer Abfüllanlage, ein Verfahren zur Steuerung einer Abfüllanlage und eine Vorrichtung zur Durchführung des Verfahrens.
-
Abfüllanlagen sind komplexe technische Gebilde mit einer Vielzahl von Einheiten für unterschiedliche Aufgaben in einem Abfüllprozess, die aufeinander abgestimmt sein müssen, um eine möglichst hohe Produktivität zu erreichen, d. h., die Abfüllanlage soll möglichst viele abgefüllte Behälter pro Zeiteinheit fertigstellen.
-
Typischerweise enthält eine Abfüllanlage eine Vielzahl von Aggregaten, die durch Förderanlagen miteinander verbunden sind, auf denen Behälter zwischen den Aggregaten transportiert werden. Die Aggregate können Flaschenfüller, Entpalettierer, Auspacker, Reinigungsmaschinen, Etikettiermaschinen, Bedruckungsmaschinen, Einpacker, Bepalettierer, Streckblasmaschinen zum Herstellen von Behältern aus thermoplastischem Kunststoff etc. sein. Eine große Bedeutung kommt dem Behältertransport zwischen den Aggregaten zu. Hierbei werden beispielsweise Kettentransportbänder, Luftförderer für leere PET-Flaschen, Transportsterne und Vorrichtungen zum Ein- und Ausschleusen von Behältern verwendet. Auf den Förderstrecken kommen ein- und mehrsträngige Transportstrecken zum Einsatz. Da die Behälter seriell in Aggregate eingeschleust werden, müssen mehrsträngige Transportströme in Einzelströme separiert werden. Die mehrsträngigen Transportstrecken dienen dabei als Pufferstrecken, um Schwankungen im Produktionsbetrieb auszugleichen. Solche Abfüllanlagen werden beispielsweise in den Patentanmeldeschriften
DE 10 2010 021733 A und
DE 10 2007 014802 A beschrieben. Eine allgemeine Beschreibung von Abfüllanlagen findet man auch im Abschlussbericht des Forschungsvorhabens ”Simulationsgestützte Planung und Nutzung von Getränke-Abfüllanlagen” (Projekt-Nr. 12265-N), das am Lehrstuhl für Fördertechnik, Materialfluss, Logistik der Technischen Universität München vom 1.12.1999 bis 31.8.2001 durchgeführt wurde.
-
Die Aufgabe einer solchen Abfüllanlage ist, möglichst reibungslos eine möglichst große Anzahl von Behältern, beispielsweise Flaschen, in möglichst kurzer Zeit zu befüllen, beispielsweise mit einem Getränk, bei möglichst gleichbleibender Qualität, die mindestens den gesetzlich vorgeschriebenen Qualitätsstandards und Hygienevorschriften entspricht. Um dies zu gewährleisten, ist eine Anlagensteuerung nötig, die Daten einer Vielzahl von Sensoren auswertet, um einen reibungslosen Ablauf zu gewährleisten, d. h., um Störungen rechtzeitig zu erkennen und die Anlagenprozesse entsprechend anzupassen.
-
1 zeigt beispielhaft einen Ausschnitt in einer Abfüllanlage mit zwei Aggregaten
1 und
2, die mit einer entsprechenden Fördereinrichtung miteinander verbunden sind. Der in
1 dargestellte Ausschnitt der Förderanlage kann in sieben Abschnitte unterteilt werden, wobei in den Abschnitten B und F die Behälter
3 von den Aggregaten
1 und
2 behandelt werden. Aggregat
1 kann beispielsweise eine Fülleinrichtung für die Behälter
3 sein, in der beispielsweise eine Flasche mit einem Getränk befüllt wird, und Aggregat
2 kann beispielsweise eine Behälteretikettiereinrichtung sein, in der die befüllten Behälter etikettiert werden. Die Bereiche A, C, D, E und G sind Bereiche, in denen die Behälter, beispielsweise Flaschen, befördert werden. Im Bereich A werden Flaschen zum Aggregat
1, beispielsweise eine Sterilisiereinrichtung, gefördert. Im Bereich C werden die im Aggregat
1 behandelten Behälter abtransportiert. Der anschließende Bereich D dient als Transportpuffer, in dem beispielsweise der Einzelstrang des Bereiches C in mehrere parallele Transportstränge aufgeteilt werden kann. Die Pufferstrecke dient dazu, insbesondere Störungen des davor liegenden und des nachfolgenden Aggregats abzupuffern. Da die Kapazität einer Abfüllanlage auf den Füller ausgelegt ist, wird der Puffer so ausgelegt, dass immer genügend Behälter im Puffer vorhanden sind, so dass der Füller kontinuierlich arbeiten kann, selbst bei Störungen in anderen Komponenten. Im Bereich E wird der mehrsträngige Transportweg im Pufferbereich D wieder vereinzelt und dem Aggregat
2 zugeführt. Im Bereich G werden dann die im Aggregat
2 behandelten Behälter, beispielsweise die etikettierten Flaschen, abtransportiert und einer nachfolgenden Einheit, beispielsweise einer Bedruckungseinrichtung zugeführt. Die Transportstrecken können auch zusätzliche Behältereinschleusungen
4 und
6 sowie Behälterausschleusungen
5 und
7 aufweisen. Die Anordnung der Behältereinschleusungen
4 und
6 sowie der Behälterausschleusungen
5 und
7 in
1 sind nur beispielhaft und können je nach Auslegung der Anlage anders angeordnet sein. Beispielsweise können den Aggregaten nachgeschaltete Sensoren überprüfen, ob die Behälter sauber oder richtig gefüllt sind und falls ein Behälter die Qualitätskriterien nicht erfüllt, kann er aus dem Transportstrom über die Ausschleusungen
5 und
7 ausgeschleust werden. Die Ausschleusungen können auch dazu dienen, Behälterströme umzuleiten oder abzuzweigen, beispielsweise in einem Fall, bei dem in einer Abfüllanlage mehrere Abfüllstränge parallel angeordnet sind. Tritt in einem Abfüllstrang eine Störung auf, beispielsweise, weil ein Behälterreinigungsaggregat in einem Strang außer Betrieb geht, kann ein Behälterstrom umgeleitet werden, um beispielsweise einen benachbarten Puffer aufzufüllen. Dies geschieht über Einschleusungen
4 und
6. Eine solche parallele Befüllungsanlage wird beispielsweise in der
DE 10 2010 021733 A1 beschrieben. Die Fördergeschwindigkeiten v
1, v
2, v
3, v
4 und v
5 in den entsprechenden Förderbereichen A, C, D, E und G werden so eingestellt, dass ein stationärer Produktionszustand herrscht. Unter ”stationärem Produktionszustand” wird hierbei verstanden, dass die Behälterbelegung und der Behälterdurchsatz, d. h. auch der Ausstoß von befüllten Behältern pro Zeiteinheit konstant (stationär) ist. Treten Störungen auf, beispielsweise weil das Aggregat
1 (beispielsweise eine Befüllungseinrichtung) stehen bleibt, oder wegen eines Behälterstaus, beispielsweise wegen eines umgefallenen Behälters, verändert sich der Behälterdurchsatz bzw. Flaschendurchsatz an der entsprechenden Stelle in der Anlage. Durch Pufferstrecken, wie beispielsweise in
1 im Bereich D gezeigt, können Störungen zeitweise gepuffert werden, so dass der Ausstoß von gefüllten Behältern zunächst nicht beeinträchtigt wird. Es ist deshalb aus dem Stand der Technik bekannt, dass eine Überwachung der Belegung der Pufferstrecken ein wirksames Mittel ist, einen reibungsarmen Produktionsverlauf zu ermöglichen.
-
1 zeigt Beispiele für Sensoranordnungen, die gemäß dem Stand der Technik für eine Überwachung der Förderbänder geeignet sind. Bezugszeichen
8 zeigt einen Staudrucksensor, mit dem die Belegung eines Puffers überwacht werden kann. Ein solcher Staudrucksensor in Form von Stauschaltern wird beispielsweise in der
DE 3 607 858 A oder
DE 3 616 023 A beschrieben.
-
Das Bezugszeichen
9 bezeichnet eine aus dem Stand der Technik bekannte berührungslose Messtechnik zum Erfassen der Belegung von Fördereinrichtungen, beispielsweise Lichttaster oder Lichtschranken. Die Verwendung von Lichttastern in einer Transportvorrichtung zum Zuführen von Artikeln zu einer Verpackungsmaschine wird in der Gebrauchsmusterschrift
DE 20 2008 009166 U1 offenbart. In der
DE 10 2010 021733 A wird eine Lichtschranke offenbart, die es ermöglicht, dass sich nach dem Wiederanfahren der Füllanlage die in der Transferstrecke gepufferte Reihe von Behältern lückenlos an die noch in der Förderlinie befindlichen Behälter anschließt.
-
Ein Nachteil dieser Art von Sensorsystemen ist, dass diese Systeme nur wenig Information über den Zustand der Transporteinrichtungen und der transportierten Behältern bereitstellen und Schätzungen über den zukünftigen Zustand der Anlage nicht oder nur schwer möglich sind. Insbesondere in komplexen Anlagen benötigt man mehr Informationen, um eine reibungslose Produktion zu ermöglichen.
-
Aus dem Stand der Technik ist weiterhin bekannt, dass die Sensortechnik mit Bildauswerteverfahren ergänzt werden kann, um den Zustand der Transporteinrichtungen besser erfassen zu können.
-
Das Bezugszeichen 10 in 1 bezeichnet beispielsweise Videokameras, mit denen die Förderanlage überwacht werden kann.
-
Beispielsweise gibt es ein kommerzielles kameragestütztes System zum berührungsfreien Zählen von Behältern beim Transport im Pulk von der Werner Nophut GmbH mit der Bezeichnung ”Zählsystem DKAM-28HD”. Das Zählsystem erkennt und zählt Glasflaschen, welche beliebig auf einem Transportband angeordnet sind. Weiterhin ist dieses System in der Lage, zu erkennen, ob die Flaschen offen oder geschlossen sind.
-
Eine Weiterentwicklung eines solchen kameragestützten Systems zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere Getränkeflaschen, wird in der
DE 10 2007 014802 A beschrieben. Dieses Verfahren verwendet ein optoelektronisches Erkennungssystem mit mindestens einer elektronischen Kamera in Verbindung mit einer nachgeschalteten rechnergestützten Bildverarbeitungseinheit. Mit der Bildverarbeitung werden aus den aufgenommenen Bildern Informationen über die innerhalb des Bildes befindlichen Objekte gewonnen, um einen Betriebszustand zumindest eines Teilbereiches der Gesamtanlage zu bestimmen. Die Objekterkennung erfolgt beispielsweise nach dem Verfahren des Antastens mit nachfolgendem Konturvergleich, worauf sich eine Merkmalserkennung anschließen kann. Das System kann auch eingesetzt werden, um falsch positionierte Behälter, etwa umgefallene Behälter, erkennen zu können. Auch kann das Einströmverhalten in die entsprechenden Anlagen, etwa aus Zwischenpuffern überwacht werden.
-
Ein Nachteil dieses Standes der Technik ist, dass Bildverarbeitung nur auf der Grundlage der Objekterkennung nach dem Verfahren des Antastens mit nachfolgendem Konturvergleich beruht. Dafür muss jedes Bild einzeln analysiert werden, wobei jedes Bild nur eine Momentaufnahme eines Betriebszustandes wiedergibt. Um dynamisches Verhalten der Produktionsanlage zu beschreiben, reicht eine Einzelbildanalyse nicht aus. Es müssen weitere im Stand der Technik nicht genauer beschriebene Auswertungsschritte der einzelnen Momentaufnahmen erfolgen. Da jedes Bild erst einzeln ausgewertet wird, ist der Zeitaufwand sehr hoch. Deshalb wird die Analyse einer Vielzahl von Einzelbildern vermieden. Ein Eingriff in den Betriebsablauf erfolgt deshalb erst, wenn eine kritische Schwelle für beispielsweise die Dichte der erkannten Objekte an einer bestimmten Stelle in der Anlage erreicht ist, d. h. dass ein Schwellwert überschritten oder unterschritten wird.
-
Wünschenswert wäre deshalb ein Verfahren, mit dem der dynamische Zustand einer Abfüllanlage analysiert werden kann, um eine Abfüllanlage vorausschauend besser steuern zu können. Wünschenswert wäre auch, wenn sich mit dem Verfahren Qualitätsmerkmale im Abfüllprozess abbilden ließen.
-
Es ist deshalb eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, um die Steuerung von komplexen Abfüllanlagen zu verbessern und insbesondere um eine vollautomatische Steuerung ohne menschliche Eingriffe zu ermöglichen.
-
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruches 1. Insbesondere wird die Aufgabe gelöst durch ein Verfahren zur Analyse eines dynamischen Zustands einer Abfüllanlage für flüssige oder feste Produkte, insbesondere für Produkte aus der Lebensmittelindustrie, mit folgenden Verfahrensschritten: Aufnahme von Bildsequenzen in mindestens einem Bereich der Abfüllanlage und Auswerten der Bildsequenzen durch Berechnung eines optischen Flusses aus einer Bildsequenz aus einer vorgegebenen Anzahl von Einzelbildern.
-
Der optische Fluss wird aus einer Bildsequenz berechnet und kann als in die Bildebene projizierte Geschwindigkeitsvektoren von in einem Bild enthaltenen Objekten visualisiert werden. Damit dient der optische Fluss der Darstellung von Bewegungsinformationen und ermöglicht die Erkennung der dreidimensionalen Struktur von Szenen zur Schätzung von Bewegungen im Raum und zum Erkennen von einzelnen bewegten Objekten, was als ”Segmentierung” bezeichnet wird. Der optische Fluss enthält nicht nur statische Informationen, also Lage und Art von Objekten im Raum zu einem bestimmten Zeitpunkt, sondern auch Bewegungsinformationen, d. h. die zukünftige Lage von Objekten. Somit enthält der optische Fluss auch dynamische Informationen der Bildinhalte bzw. Objekte. Der optische Fluss ermöglicht die Schätzung zukünftiger Bewegungszustände auf einer Transportband oder einer Transportstrecke, so dass und frühzeitig Maßnahmen eingeleitet werden können, um eine Betriebsstörung zu vermeiden. Weiterhin können der optische Fluss verwendet werden, zu überwachende Objekte mit hoher Auflösung darzustellen so dass Qualitätskriterien genauer überprüft werden können.
-
In einer Ausführungsform wird der optische Fluss mit differenziellen Verfahren vorzugsweise nach der Lucas-Kanade-Methode oder Horn-Schunck-Methode berechnet. Bei diesen Verfahren wird aus der Bildsequenz mit der vorgegebenen Anzahl von Einzelbildern ein Vektorfeld berechnet, wobei jeder Vektor eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit eines Bildpunktes oder eines Bildpunktblockes der Bildsequenz angibt.
-
In einer Ausführungsform segmentiert das Verfahren mit dem optischen Fluss Bilder nach Bildinhalten. Beispielsweise kann die Segmentierung nach Vordergrundbewegung bzw. Hintergrundbewegung, nach einzelnen Objekten oder nach Bewegungsmustern etc. erfolgen.
-
In einer besonderen Ausführungsform wird mit dem optischen Fluss die Vordergrundbewegung von der Hintergrundbewegung separiert. Dies kann beispielsweise in Abfüllanlagen zur Vermeidung von Unfällen verwendet werden. So kann ein Notstopp ausgelöst werden, wenn bei einem mittels optischen Fluss überwachte Maschine (z. B. eine Streckblasmaschine) ein Bewegungsmuster erkannt wird, das auf eine Gefährdung von Bedienpersonal im laufenden Anlagenbetrieb hinweist.
-
In einer weiteren Ausführungsform wird der optische Fluss verwendet, sich bewegende Objekte zu identifizieren. Damit kann beispielsweise die Belegungsdichte auf Förderbändern und Pufferstrecken zu einem bestimmten Zeitpunkt bestimmt werden. Darüber hinaus enthält der optische Fluss die Information, wie sich die Belegungsdichte auf den Bändern und auf der Pufferstrecke über einen bestimmten Zeitraum entwickelt. Der optische Fluss dient also zur Schätzung der zukünftigen Förderbelegung. Dabei ist die Identifizierung von sich bewegenden Objekten nicht auf die Abfüllbehälter beschränkt, sondern kann auch Menschen, menschliche Körperteile, Hindernisse, Fremdkörper und/oder Verschmutzungen im Förderbereich und dessen Umgebung einschließen.
-
In bestimmten Fällen verfügen Einzelbilder nicht über die gewünschte Auflösung, um nachfolgende Analysen durchzuführen, z. B. zur Identifikation von Behältern in einem Inspektor. Mit Hilfe des optischen Flusses können mehrere Bilder einer Videosequenz zu einem höher aufgelösten Bild zusammengefügt werden, oder es können Bildsegmente von identifizierten, sich bewegenden Objekten mit höherer Auflösung berechnet werden. Insbesondere kann das identifizierte Objekt, beispielsweise eine Flasche, ein Glas oder eine Dose dahingehend analysiert werden, ob Qualitätskriterien eingehalten werden. Beispielsweise können Behälter oder deren Inhalte beispielsweise auf Füllqualität, Beschädigung oder Fremdkörper analysiert werden.
-
In einer Ausführungsform wird der optische Fluss kontinuierlich mit jedem von der Videokamera neu aufgenommenen Bild neu berechnet. Mit diesem Verfahren lässt sich kontinuierlich bestimmen, ob ein stationärer Bewegungszustand vorhanden ist, oder ob sich der Bewegungszustand auf den Fördermitteln dynamisch ändert. Alternativ kann der optische Fluss in vorbestimmten Zeitintervallen mit einer neuen Bildsequenz neu berechnet werden. Diese Variante stellt geringere Anforderungen an den Bildauswertungsrechner, hat aber den Nachteil, dass weniger Informationen zur Bewegungsschätzung zur Verfügung stehen. Damit ist diese Variante vorteilhaft in weniger zeitkritischen Bereichen der Abfüllanlage.
-
Zusätzliche Informationen zur Entwicklung des dynamischen Zustandes kann man erhalten, wenn der optische Fluss anhand der Veränderungen zwischen aufeinanderfolgenden berechneten optischen Flüssen extrapoliert wird.
-
In einer Ausführungsform umfasst das Verfahren weiterhin folgende Verfahrensschritte: Vergleichen des aktuell berechneten optischen Flusses oder des extrapolierten optischen Flusses mit gespeicherten optischen Flüssen aus einer Datenbank, einem Expertensystem oder einem neuronalen Netz; Bestimmen, ob der aktuell berechnete optische Fluss um weniger als ein vorbestimmter Wert von den gespeicherten optischen Flüssen abweicht; und Ausgeben eines Steuersignals, wenn der vorbestimmte Wert unterschritten wird.
-
Durch den Vergleich des aktuellen optischen Flusses mit Erfahrungswerten in einer Datenbank, einem Expertensystem oder einem neuronalen Netz kann sehr schnell und auf einfache Weise entschieden werden, ob der aktuell optische Fluss und damit der aktuelle dynamische Zustand der Fördereinrichtung im Normalbereich liegt oder auf eine Störung hinläuft.
-
Die gespeicherten optischen Flüsse können dabei kritische Förderprozesszustände definieren. Beispielsweise kann in einem Lernprozess ein Förderzustand auf einen optischen Fluss abgebildet werden, der einer zu langsamen oder einer zu schnellen Fördergeschwindigkeit entspricht. Ein kritischer Förderprozesszustand kann auch eine Gefahrensituation für Bedienpersonal oder eine Gefahrensituation für Produktqualität (Verschmutzungen, ungenügende Füllung, beschädigte Behälter, etc.) sein.
-
Gemäß eines weiteren Aspekts der vorliegenden Erfindung wird ein Verfahren zum Steuern einer Abfüllanlage für flüssige oder feste Produkte, insbesondere für Produkte aus der Lebensmittelindustrie, bereitgestellt, das das Verfahren zur Analyse eines dynamischen Zustandes der Abfüllanlage wie vorher beschrieben verwendet. Insbesondere umfasst das Verfahren folgende Schritte: Aufnahme von Bildsequenzen in mindestens einem Bereich der Abfüllanlage und Auswerten der Bildsequenzen durch Berechnen eines optischen Flusses aus einer Bildsequenz mit einer vorgegebenen Anzahl von Einzelbildern; Bewerten des berechneten optischen Flusses anhand von gespeicherten optischen Flüssen einschließlich Beurteilen, ob sich eine kritische Situation entwickelt; und Eingreifen in die Prozesssteuerung, falls die Bewertung ergibt, dass sich ein kritischer Zustand entwickelt.
-
Durch die Verwendung des Hilfsmittels ”optischer Fluss” bei der Anlagensteuerung lässt sich die Anlagesicherheit und die Inspektionsgüte verbessern.
-
Die oben genannte Aufgabe wird auch gelöst durch eine Vorrichtung zur Analyse eines dynamischen Zustands einer Abfüllanlage für flüssige oder feste Produkte, insbesondere für Produkte aus der Lebensmittelindustrie, die Folgendes umfasst: eine Bildaufnahmevorrichtung; und eine Bilddatenverarbeitungseinrichtung. Die Vorrichtung ist dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinrichtung ausgelegt ist, einen optischen Fluss aus einer Bildsequenz mit einer vorgegebenen Anzahl von Einzelbildern zu berechnen. Die Vorrichtung enthält weiterhin eine Einrichtung, die den optischen Fluss dahingehend bewertet, ob Störungen im Förderbetrieb vorhanden oder zu erwarten sind, oder ob Qualitätsmerkmale der Behälter in dem Überwachungsbereich der mindestens einen Bildaufnahmevorrichtung eingehalten werden. Dies kann beispielsweise geschehen, indem die Bilddatenverarbeitungseinrichtung so ausgelegt wird, dass sie den berechneten optischen Fluss mit in einer Wissensbasis abgespeicherten optischen Flüssen, die bekannte Förderprozesszustände abbilden, vergleichen kann, um so den in dem optischen Fluss abgebildeten Förderzustand zu bewerten und gegebenenfalls einer sich anbahnenden Störung gegenzusteuern.
-
Im Folgenden werden Ausführungsbeispiele, Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung anhand der beigefügten Figuren näher erläutert. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht. In den Figuren zeigen
-
1 schematisch einen Abschnitt einer Abfüllanlage gemäß dem Stand der Technik; und
-
2 schematisch einen Abschnitt einer Abfüllanlage gemäß der vorliegenden Erfindung.
-
Die vorliegende Erfindung erfolgte, um die Steuerung von Abfüllanlagen für flüssige oder feste Produkte, insbesondere für Produkte aus der Lebensmittelindustrie, zu verbessern. Insbesondere soll die Anlagensicherheit und die Inspektionsgüte der abgefüllten Produkte verbessert werden. Durch die Verbesserung der Anlagensteuerung soll auch ein höherer Automatisierungsgrad mit geringerer Eingriffhäufigkeit durch Bedienungspersonal erreicht werden, wodurch Kontamination in Befüllungsanordnungen unter Reinraumbedingungen verringert wird.
-
Insbesondere soll die Überwachung von Abfüllanlagen auf der Basis von Videoüberwachung verbessert werden. Ausgehend von der Einzelbildverarbeitung von Überwachungsvideobildern gemäß Stand der Technik setzt die vorliegende Erfindung bei einer Verbesserung der Bewegungsdetektion in Bildsequenzen an. Sind die Unterschiede von Bildinhalten in Bildsequenzen bekannt, kann diese Information unter anderem zur Bewegungsdetektion, Bewegungsverfolgung, Bewegungserkennung, zur Bildsegmentierung, zur 3D-Rekonstruktion, zur Objekterkennung und zur Erhöhung der Auflösung von erkannten Objekten (super resolution) verwendet werden. Die geschätzten Bewegungsfelder können dann dazu verwendet werden, um bestimmte Bewegungen zu analysieren, z. B. ist die Detektion von anormalen Verhalten anhand von Bewegungsfeldern möglich. Erfindungsgemäß wird eine Bewegungsdetektion nach dem Prinzip des optischen Flusses verwendet. Laut Wikipedia wird in der Bildverarbeitung und in der optischen Messtechnik ein Vektorfeld als optischer Fluss bezeichnet, das die Bewegungsrichtung und Bewegungsgeschwindigkeit für jeden Bildpunkt einer Bildsequenz angibt. Der optische Fluss kann als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden. Der optische Fluss ist eine wichtige Darstellung von Bewegungsinformation. Er bildet eine Ausgangsbasis für die Erkennung der dreidimensionalen Struktur von Szenen, zur Schätzung von Bewegungen im Raum und für die Erkennung von einzelnen bewegten Objekten (Segmentierung). Der klassische optische Fluss wird mit einem differenziellen Verfahren bestimmt, d. h. auf der Grundlage von Ableitungen und Gradienten des Grauwertsignals, und ergeben ein dichtes Bewegungsfeld bzw. Vektorfeld. Die grundlegende differenzielle Methode wurde von Berthold Horn und Brian Schunck entwickelt und nimmt an, dass die Helligkeit E an entsprechenden Stellen der Einzelbilder in der Bildsequenz konstant ist. Dann folgt aus der Ableitung dE / dt = ∂E / ∂t + ∂E / ∂x· dx / dt + ∂E / ∂y· dy / dt als notwendige Bedingung die Bestimmungsgleichung für die Geschwindigkeiten: dE / dt + ∂E / ∂x· dx / dt + ∂E / ∂y· dy / dt = 0.
-
Das Vektorfeld wird dann beispielsweise mit der Lucas-Kanade-Methode oder mit der Horn-Schunck-Methode bestimmt.
-
Mit dem optischen Fluss sind folgende Anwendungen möglich:
-
Bewegungsdetektion in Echtzeit
-
Der optische Fluss kann zur Segmentierung von Vorder- und Hintergrundbewegungen verwendet werden. Dies kann beispielsweise in Abfüllanlagen zur Vermeidung von Unfällen verwendet werden. So kann ein Notstopp ausgelöst werden, wenn bei einer mittels optischen Fluss überwachte Maschine (z. B. die Streckblasmaschine) ein Bewegungsmuster erkannt wird, das auf ein Hineinlangen eines Bedieners im Anlagenbetrieb hinweist.
-
Super-Resolution
-
In bestimmten Fällen verfügen Bilder nicht über die gewünschte Auflösung, um nachfolgende Analysen durchzuführen, beispielsweise zur Identifikation von Behältern in einem Inspektor. Mit Hilfe des optischen Flusses können mehrere Bilder einer Videosequenz zu einem höher aufgelösten Bild zusammengefügt werden. Entsprechend können Behälter und/oder Inhalte des Behälters besser auf beispielsweise Beschädigungen oder Fremdkörper analysiert werden.
-
Abnormal Activity Recognition
-
Das Bewegungsfeld in Videos kann auch dazu verwendet werden, abnormale Bewegungen, z. B. Flaschenstau, Spiel bei Behälterführungen, Probleme beim Greifen bei Nack Handling, Vibrationen, defekte Transportbandkurven und Garnituren etc., zu detektieren. Dafür werden zunächst normale Bewegungsmuster gelernt. Anschließend werden die Bewegungen analysiert und verglichen, ob es sich um normale Bewegungen handelt. Ein Index gibt an, wie ungewöhnlich diese Bewegung dann im Sinne einer Abweichung vom gewünschten Bewegungsmuster ist, insbesondere bei Geschwindigkeitsänderungen etc.
-
Die vorliegende Erfindung ist zum Einsatz in einer Abfüllanlage für flüssige oder feste Produkte, insbesondere Produkte aus der Lebensmittelindustrie, vorgesehen.
-
2 zeigt den Einsatz der vorliegenden Erfindung in einem Abschnitt einer Abfüllanlage. Bezugszeichen in der 2, die identisch sind zu den Bezugszeichen in 1 bezeichnen die gleichen Merkmale. Die Beschreibung dieser Merkmale im einleitenden Teil der Beschreibung bzgl. 1 gelten auch für 2. Die vorliegende Erfindung benötigt mindestens eine Kamera, die in einem Bereich zwischen zwei Behandlungsaggregaten 1 und 2 angeordnet sind. Beispielsweise kann eine erste Kamera 10-1 einen Auslaufbereich einer Fülleinrichtung 1 überwachen und eine zweite Kamera 10-2 kann einen Pufferbereich und einen Einlaufbereich für eine Druckeinrichtung 2 zum Bedrucken von gefüllten Behältern 3 überwachen. Die Art der Aggregate 1 und 2 spielt jedoch für die Anwendung der Erfindung keine Rohe und kann durch andere ersetzt werden, beispielsweise durch eine Streckblasmaschiene und eine nachfolgende Sterilisationseinheit. Die Signale der Kameras 10-1 und 10-2 werden an eine Auswerteeinrichtung 11 weitergeleitet. Die Auswerteeinrichtung 11 berechnet den optischen Fluss für beispielsweise zehn aufeinanderfolgende Videobilder. Die Auswertung des optischen Flusses für die Bereiche C entsprechend Kamera 10-1 und die Bereiche D und E entsprechend der Kamera 10-2 kann nach unterschiedlichen Kriterien erfolgen. Beispielsweise kann der optische Fluss von der Kamera 10-1 dazu verwendet werden, das Füllergebnis der Fülleinrichtung 1 zu überprüfen. Dazu erfolgt eine Segmentierung der Bewegungsinformation in den Daten zum optischen Fluss beispielsweise nach Objekten mit derselben Geschwindigkeit und in dieselbe Richtung. Nachdem solche Objekte identifiziert und isoliert wurden, kann aus mehreren aufeinanderfolgenden Bildern für jedes erkannte Objekt ein Bild mit höherer Auflösung erzeugt werden und mit Hilfe von Merkmalsextraktion bestimmt werden, ob der Füllstand stimmt oder ob beispielsweise andere Merkmale in einem gewünschten Parameterbereich liegen, beispielsweise Struktur und Farbe der Füllung von Flaschen oder Unversehrtheit der Behälter. Wird für ein Merkmal das Qualitätskriterium nicht erreicht, kann beispielsweise die Auswerteeinrichtung 11 ein Signal ausgeben, das eine Ausschleusungseinheit 5 betätigt, das den Behälter, der die Anforderungen nicht erfüllt, von der Transporteinrichtung entfernt.
-
Bei der Segmentierung können auch Muster separiert werden, die einer Bedienperson 12 entsprechen, die ins Bildfeld der Kamera 10-1 tritt. Aus den Bewegungsinformationen (Bewegungsrichtung und Geschwindigkeit) wird abgeschätzt, ob für die Person 12 eine Gefahr besteht und die Auswerteeinrichtung 11 kann gegebenenfalls einen Notstopp dieses Maschinenbereichs einleiten.
-
Der optische Fluss der Kamera 10-2 kann beispielsweise dazu verwendet werden, eine Belegungsdichte des Pufferbereichs D zu berechnen und abzuschätzen, ob sich die Belegungsdichte ändert. Im Fall einer Störung, beispielsweise der Fülleinrichtung 1, leert sich allmählich der Pufferbereich D. Dies wird von der Auswerteeinrichtung 11 erkannt und wenn die Störung in der Fülleinrichtung 1 andauert und die Belegungsdichte des Pufferbereichs D einen bestimmten Wert unterschreitet, kann die Auswerteeinrichtung 11 beispielsweise in den Bedruckungsvorgang der Druckeinrichtung 2 so eingreifen, dass der Druckdurchsatz verringert wird. Eine andere Möglichkeit des Eingreifens wäre, dass die Auswerte/Steuereinheit 11 eine Einschleusvorrichtung 6 und entsprechend eine Ausschleuseinrichtung in einem parallelen Produktionsstrang (nicht gezeigt) betätigt, um gefüllte Behälter aus dem parallelen Produktionsstrang zum Drucker umzuleiten, so dass keine Unterbrechung im Produktionsvorgang entsteht.
-
Die Belegungsdichte kann einfach bestimmt werden, indem sich bewegende Objekte separiert und gezählt werden. In diesem Fall kann auch durch Mustererkennungsalgorithmen bestimmt werden, ob Behälter (Flaschen) falsch liegen oder umgefallen sind und zu einer Störung des Transports führen können. An entsprechend vorgesehenen Ausschleusungspunkten kann die Maschinensteuerung dann auf Anlass der Auswerteeinrichtung 11 die umgefallene Flasche von der Transporteinrichtung entfernen.
-
Eine andere Möglichkeit ist, die Daten des aktuellen optischen Flusses mit abgespeicherten Daten von optischen Flüssen zu vergleichen. Zu diesem Zweck können in einer Lernphase optische Flüsse für normale Bewegungsmuster aufgenommen werden. Alternativ oder zusätzlich können auch optische Flüsse von Störungssituationen aufgenommen werden. Solche Vergleichsdaten können in einer Wissensbasis abgelegt werden, beispielsweise in einem Speicher, oder alternativ in einem neuronalen Netz. Ein neuronales Netz hat den Vorteil, dass der Vergleichsvorgang zwischen aktuell gemessenem optischen Fluss und gespeichertem optischen Fluss sehr schnell erfolgt und eine Bewertung des aktuell gemessenen optischen Flusses, ob eine Störung vorliegt, oder in nächster Zukunft zu erwarten ist, sehr schnell erfolgt. Die Abweichung des aktuell gemessenen optischen Flusses von dem gespeicherten Fluss kann beispielsweise in Form eines Indexes ausgegeben werden, anhand dessen entschieden werden kann, ob die Abweichung ein Eingreifen der Maschinensteuerung erfordert.
-
Die Berechnung des optischen Flusses kann beispielsweise kontinuierlich erfolgen. Das heißt, mit jedem neu aufgenommenen Bild wird ein neuer optischer Fluss mit den letzten, beispielsweise zehn, aufgenommenen Bildern berechnet. Aus der quasikontinuierlichen Änderung des optischen Flusses können damit zusätzlich Informationen gewonnen werden, beispielsweise, ob sich der Bewegungszustand ändert. Diese Information kann interpoliert werden, so dass eine bessere Bewegungsschätzung möglich ist.
-
An weniger zeitkritischen Stellen der Abfüllanlage kann der optische Fluss auch in regelmäßigen Abständen mit nicht überlappenden Bildsequenzen erfolgen. Der Vorteil ist, dass weniger Rechenleistung und Resourcen erforderlich sind, um eine Bewegungsschätzung durchzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010021733 A [0003, 0007]
- DE 102007014802 A [0003, 0012]
- DE 102010021733 A1 [0005]
- DE 3607858 A [0006]
- DE 3616023 A [0006]
- DE 202008009166 U1 [0007]
