-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur automatisierten Prozessüberwachung, ein Produktionsverfahren und ein Computerprogrammprodukt.
-
Zur Sicherstellung von Qualitätsanforderungen in Industrieprozessen oder Fertigungsprozessen beziehungsweise zur Sicherstellung der Prozessstabilität ist es erforderlich, die korrekte Durchführung der Prozesse zu überwachen. Dies kann beispielsweise bei Kommisionierungs- oder Sequenzierungsprozessen beziehungsweise bei Montage- oder Verbauprozessen der Fall sein. Dazu ist derzeit ein hoher manueller Kontrollaufwand erforderlich. Auch andere Überwachungs- oder Kontrollvorgänge, beispielsweise zum Diebstahlschutz oder zur Überwachung von Zugangsbeschränkungen, ist ein hoher manueller Kontrollaufwand erforderlich.
-
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur automatisierten Prozessüberwachung anzugeben, durch das ein manueller Kontrollaufwand reduziert wird.
-
Diese Aufgabe wird gelöst durch einen jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Das verbesserte Konzept beruht auf der Erkenntnis, dass es zur Prozessüberwachung häufig erforderlich ist, festzustellen, ob sich bestimmte Objekte in bestimmten vorgegebenen Bereichen befinden oder nicht. Gemäß dem verbesserten Konzept werden daher basierend auf Bilddaten eines Kamerasystems für Objekte innerhalb eines vorgegebenen Bereichs jeweils Objektklassen bestimmt, und anhand der Objektklassen wird geprüft, ob eine entsprechende Regel erfüllt ist.
-
Gemäß dem verbesserten Konzept wird ein Verfahren zur automatisierten Prozessüberwachung angegeben, wobei mittels eines Kamerasystems Bilddaten erzeugt werden, die eine Szene abbilden. Mittels einer Recheneinheit wird basierend auf den Bilddaten festgestellt, dass sich wenigstens ein Objekt innerhalb eines vorgegebenen Bereichs befindet. Mittels der Recheneinheit wird für jedes der Objekte, also für jedes Objekt des wenigstens einen Objekts, basierend auf den Bilddaten eine von wenigstens zwei vorgegebenen Objektklassen bestimmt. Mittels der Recheneinheit wird abhängig von den bestimmten Objektklassen überprüft, ob eine vorgegebene, dem Bereich zugeordnete Regel erfüllt ist. Mittels der Recheneinheit wird abhängig von einem Ergebnis der Überprüfung ein Ausgabesignal erzeugt.
-
Insbesondere kann die Recheneinheit basierend auf den Bilddaten die Szene analysieren und so das Vorhandensein der Objekte feststellen. Bei dem vorgegebenen Bereich handelt es sich insbesondere um einen vorgegebenen zweidimensionalen Bereich auf einem den Bilddaten entsprechenden Bild. Das Kamerasystem hat insbesondere eine bezüglich der Szene vordefinierte Pose, so dass der vorgegebene Bereich einem zugehörigen realen Bereich in der Szene entspricht. Insbesondere kann der Bereich einem Teilbereich des Bildes, also nicht dem gesamten Bild, entsprechen, wobei der Teilbereich beispielsweise durch seine Position und/oder Lage innerhalb des Bilds definiert ist.
-
Die dem Bereich zugeordnete Regel kann beispielsweise als Vorschrift verstanden werden, die es erfordert, dass sich eine bestimmte Anzahl von Objekten einer bestimmten Objektklasse in dem Bereich oder in einem oder mehreren Unterbereichen des Bereichs befindet. Ist dies der Fall, so ist die Regel beispielsweise erfüllt, anderenfalls ist sie nicht erfüllt. Die Regel kann aber auch mehrere solcher Vorschriften beinhalten, wobei die Regel erfüllt ist, wenn eine der Vorschriften erfüllt ist.
-
Das Ausgabesignal enthält insbesondere eine Information, ob die Regel erfüllt ist oder nicht. Alternativ kann das Ausgabesignal auch nur dann erzeugt werden, wenn die Regel erfüllt ist oder das Ausgabesignal kann nur dann erzeugt werden, wenn die Regel nicht erfüllt ist.
-
Zum Bestimmen der Objektklassen für die Objekte können bekannte Bildanalysealgorithmen oder Objektdetektionsalgorithmen eingesetzt werden. Beispielsweise können Algorithmen eingesetzt werden, die auf maschinellem Sehen (englisch: „Computer Vision“) beruhen oder maschinell trainierte Algorithmen. Beispielsweise können bekannte Architekturen künstlicher neuronaler Netzwerke, insbesondere faltender künstlicher neuronaler Netzwerke, CNN (englisch: „Convolutional Neural Networks“), eingesetzt werden.
-
Durch das verbesserte Konzept wird also eine automatisierte Prozessüberwachung ermöglicht, wobei das Erfordernis manueller Überwachungsschritte reduziert werden kann. Beispielsweise kann abhängig von dem Ausgabesignal oder basierend auf einer visuellen Darstellung des Ausgabesignals eine manuelle Freigabe der Szene durch einen Benutzer erfolgen oder auch die Freigabe kann automatisiert basierend auf dem Ausgabesignal erfolgen.
-
Mit Vorteil wird anhand des verbesserten Konzepts nicht direkt basierend auf den Bilddaten bestimmt, ob eine entsprechende Regel erfüllt ist. Ein solcher Ansatz könnte beispielsweise mittels neuronaler Netzwerke oder anderer maschinell trainierbarer Algorithmen realisiert werden, indem große Mengen an Trainingsdaten bereitgestellt und gemäß der Regel annotiert oder gelabelt werden. In diesem Fall hätte jedoch eine Änderung der Regel zur Folge, dass der Algorithmus vollständig neu trainiert werden müsste. Dies wäre mit einem erheblichen Ressourcen- und Zeitaufwand verbunden.
-
Durch das verbesserte Konzept muss dagegen lediglich festgestellt werden, beispielsweise mittels eines Algorithmus zum maschinellen Sehen oder eines maschinell trainierten Algorithmus, welche Objekte sich wo in der Szene befinden. Diese Information wird dann unabhängig von der eigentlichen Objekterkennung hinsichtlich der vorgegebenen Regel ausgewertet. Wird nun die Regel verändert, so ist lediglich der letzte Schritt, nämlich der Abgleich der bestimmten Objektklassen mit der vorgegebenen Regel, anzupassen. Der Algorithmus, der feststellt, dass sich die Objekte in dem Bereich befinden beziehungsweise der die Objektklassen bestimmt, muss nicht verändert werden. Insbesondere muss der Algorithmus nicht neu trainiert werden, falls es sich um einen maschinell trainierten Algorithmus handelt.
-
Gemäß zumindest einer Ausführungsform des Verfahrens wird mittels der Recheneinheit ein Objekterkennungsalgorithmus auf die Bilddaten angewendet, um festzustellen, dass sich das wenigstens eine Objekt innerhalb des vorgegebenen Bereichs befindet und um für jedes der Objekte die Objektklasse zu bestimmen. Der Objekterkennungsalgorithmus kann beispielsweise ein künstliches neuronales Netzwerk, insbesondere ein CNN, beinhalten.
-
Da aus dem Stand der Technik ausgereifte Algorithmen zur Objekterkennung und Objektklassifizierung bekannt sind, die auf künstlichen neuronalen Netzwerken, insbesondere CNNs, basieren, kann in solchen Ausführungsformen auch die Zuverlässigkeit der Prozessüberwachung erhöht werden.
-
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit basierend auf den Bilddaten für jedes der Objekte, insbesondere für jedes Objekt des wenigstens einen Objekts, einer von wenigstens zwei vorgegebenen Unterbereichen des Bereichs bestimmt, innerhalb dessen sich das jeweilige Objekt befindet. Die Überprüfung, ob die Regel erfüllt ist, wird abhängig von den bestimmten Unterbereichen durchgeführt.
-
Die Unterbereiche können dabei auch ihrerseits wiederum Unterbereiche beinhalten. Diese hierarchisch tieferliegenden Unterbereiche können ebenfalls als Unterbereiche des Bereichs bezeichnet werden.
-
Für jeden Unterbereich der wenigstens zwei Unterbereiche ist insbesondere eine Position und/oder eine Lage in dem Bild beziehungsweise in dem Bereich vorgegeben. Dabei ist jedem Unterbereich der wenigstens zwei Unterbereiche ein Identifikator eindeutig zugeordnet. Anhand des Identifikators ist insbesondere nachvollziehbar, ob sich der jeweilige Unterbereich innerhalb eines oder mehrerer weiterer der Unterbereiche befindet und gegebenenfalls innerhalb welcher. Die Zuordnung kann beispielsweise in Form einer Baumstruktur hinterlegt sein. Das Bestimmen eines Unterbereichs kann insbesondere als Bestimmen des Identifikators des jeweiligen Unterbereichs verstanden werden.
-
In solchen Ausführungsformen wird also insbesondere zur Überprüfung, ob die Regel erfüllt ist, überprüft, welche Objekte sich in welchen Unterbereichen befinden. Dadurch können auch komplexere Szenen anhand des Verfahrens überwacht werden beziehungsweise können komplexere Regeln überprüft werden.
-
Gemäß zumindest einer Ausführungsform wird zur Überprüfung, ob die Regel erfüllt ist, überprüft, ob eine Verteilung der bestimmten Objektklassen innerhalb des Bereichs einer vorgegebenen Sollverteilung entspricht.
-
Mit anderen Worten wird eine jeweilige Position der Objekte bestimmt und anhand der Regel wird überprüft ob sich Objekte bestimmter Objektklassen in bestimmten Teilen des Bereichs entsprechend der Sollverteilung befinden.
-
Gemäß zumindest einer Ausführungsform wird zur Überprüfung, ob die Regel erfüllt ist, überprüft, ob eine Verteilung der bestimmten Objektklassen auf die wenigstens zwei Unterbereiche der vorgegebenen Sollverteilung entspricht.
-
Mit anderen Worten wird überprüft, ob sich eine bestimmte Anzahl von Objekten einer bestimmten Objektklasse in einem gemäß der Sollverteilung vorgegebenen Unterbereich befindet. Die Sollverteilung gibt also insbesondere an, wie viele Objekte einer bestimmten Objektklasse sich in jedem der wenigstens zwei Unterbereiche befinden müssen, damit die Regel erfüllt ist. Dabei können auch mehrere Sollverteilungen vorgegeben sein, wobei die Regel beispielsweise erfüllt ist, wenn wenigstens eine der Sollverteilungen tatsächlich vorliegt.
-
Gemäß zumindest einer Ausführungsform wird, um festzustellen, dass sich das wenigstens eine Objekt innerhalb des Bereichs befindet, mittels der Recheneinheit für jedes der Objekte, also für jedes Objekt des wenigstens einen Objekts, eine Hüllfigur bestimmt, und es wird festgestellt, dass sich die jeweilige Hüllfigur innerhalb des Bereichs befindet.
-
In entsprechenden Ausführungsformen kann, um für jedes der Objekte den Unterbereich zu bestimmen, mittels der Recheneinheit für jedes der Objekte die Hüllfigur bestimmt werden und festgestellt werden, dass sich die jeweilige Hüllfigur innerhalb des entsprechenden Unterbereichs befindet.
-
Die Hüllfigur, die auch als Bounding Box bezeichnet werden kann, entspricht insbesondere einer zweidimensionalen geometrischen Figur, die eine Ausdehnung des entsprechenden Objekts näherungsweise wiedergibt beziehungsweise die das Objekt einschließt. Beispielsweise können zum Bestimmen der Hüllfigur eine Position und eine Größe der Hüllfigur bestimmt werden. Die Form der Hüllfigur kann ebenfalls bestimmt werden oder vorgegeben sein. Beispielsweise kann die Form der als Rechteck vorgegeben sein.
-
Insbesondere kann die Hüllfigur mittels des Objekterkennungsalgorithmus, also beispielsweise mittels des Algorithmus zum maschinellen Sehen oder des maschinell trainierten Algorithmus, bestimmt werden. Bei der Bestimmung von Hüllfiguren für Objekte im Rahmen der Objekterkennung handelt es sich um einen etablierten Ansatz, der mit hoher Genauigkeit und hoher Zuverlässigkeit durchgeführt werden kann. Dadurch wird die Zuverlässigkeit der Prozessüberwachung erhöht.
-
Beispielsweise werde mittels des Objekterkennungsalgorithmus die Objektklassen und die Hüllfiguren beziehungsweise deren Positionen bestimmt. Ob sich die Hüllfiguren innerhalb des Bereichs beziehungsweise der jeweiligen Unterbereiche befinden, wird nicht notwendigerweise durch den Objekterkennungsalgorithmus bestimmt.
-
Gemäß zumindest einer Ausführungsform wird, um festzustellen, dass sich die jeweilige Hüllfigur innerhalb des Bereichs befindet, mittels der Recheneinheit eine Position der Hüllfigur mit einem vorgegebenen Binärbild verglichen, wobei das Binärbild den Bereich definiert.
-
Bei dem Binärbild handelt es sich insbesondere um eine zweidimensionale Anordnung von Zellen eines Rechteckrasters, wobei jede Zelle des Rechteckrasters einem Pixel des Binärbilds entspricht. Jedes Pixel kann genau einen von zwei logischen Werten annehmen, wobei das Pixel beispielsweise einen ersten logischen Wert annimmt, wenn das entsprechende Pixel innerhalb des Bereichs liegt und anderenfalls einen zweiten logischen Wert.
-
Dadurch kann in besonders einfacher Weise festgestellt werden, ob sich die Hüllfigur und damit das Objekt innerhalb des Bereichs befinden. Damit ist auch ein reduzierter Rechenaufwand verbunden. In Ausführungsformen, in denen die Unterbereiche für die Objekte bestimmt werden, kann beispielsweise festgestellt werden, dass sich die jeweilige Hüllfigur innerhalb des entsprechenden Unterbereichs befindet, indem die Position der Hüllfigur mit dem Binärbild verglichen wird.
-
Beispielsweise kann jedem Pixel des Binärbilds eine Kennung zugeordnet sein, die spezifiziert, zu welchem Unterbereich das jeweilige Pixel gehört. Dabei kann im Falle von mehrstufigen Unterbereichsstrukturen, also falls ein Unterbereich seinerseits selbst wiederum einen Unterbereich enthält, beispielsweise jedem Pixel nur die Kennung des Unterbereichs der untersten Stufe zugeordnet sein, da sich dadurch insbesondere anhand der Identifikatoren die Lage des Pixels auch bezüglich aller Unterbereiche höherer Stufen rekonstruieren lässt.
-
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit eine Position eines ausgezeichneten Punkts der Hüllfigur als Position der Hüllfigur bestimmt.
-
Bei dem ausgezeichneten Punkt kann es sich, je nach Form der Hüllfigur, beispielsweise um einen Mittelpunkt, einen Schwerpunkt oder einen Eckpunkt der Hüllfigur handeln. Vorzugsweise handelt es sich bei der Hüllfigur um ein Rechteck und bei dem ausgezeichneten Punkt um den Mittelpunkt des Rechtecks.
-
Dem ausgezeichneten Punkt kann beispielsweise genau ein Pixel des Binärbilds zugeordnet werden. Anhand der Kennung dieses Pixels kann dementsprechend bestimmt werden, dass sich die Hüllfigur beziehungsweise das Objekt in dem Bereich befindet und gegebenenfalls in welche Unterbereichen.
-
Indem lediglich der ausgezeichnete Punkt der Hüllfigur bestimmt und dessen Position mit dem Binärbild verglichen wird, kann mit geringem Rechen- und Speicheraufwand festgestellt werden, wo sich das jeweilige Objekt in der Szene befindet.
-
Gemäß zumindest einer Ausführungsform wird mittels eines elektronischen Anzeigegeräts abhängig von dem Ausgabesignal eine visuelle Repräsentation des Bereichs angezeigt.
-
Beispielsweise kann eine Formatierung, beispielsweise eine Farbe, der visuellen Repräsentation von dem Ausgabesignal abhängen. Dabei können insbesondere unterschiedliche Formatierungen gewählt werden, je nachdem, ob das Ausgabesignal anzeigt, dass die Regel erfüllt ist oder nicht. Alternativ oder zusätzlich können auch unterschiedliche Symbole bezüglich des Bereichs angezeigt werden, die darauf hinweisen, ob die Regel erfüllt ist. In solchen Ausführungsformen wird ein Ergebnis der Prozessüberwachung in für Menschen besonders schnell und intuitiv wahrnehmbarer Weise dargestellt.
-
In verschiedenen Ausführungsformen können auch entsprechende visuelle Repräsentationen der Unterbereiche mittels des Anzeigegeräts abhängig von dem Ausgabesignal angezeigt werden.
-
Gemäß dem verbesserten Konzept wird auch ein Produktionsverfahren angegeben. Das Produktionsverfahren enthält einen Prozess, der anhand eines Verfahrens zur automatisierten Prozessüberwachung gemäß dem verbesserten Konzept überwacht wird.
-
Gemäß zumindest einer Ausführungsform des Produktionsverfahrens handelt es sich bei dem Prozess, der anhand des Verfahrens nach dem verbesserten Konzept zur Prozessüberwachung überwacht wird, um einen Sequenzierungsprozess, einen Kommisionierungsprozess oder einen Montageprozess.
-
Der Sequenzierungsprozess kann dabei beispielsweise das Packen eines Warenkorbs beinhalten, und durch das Verfahren zur automatisierten Prozessüberwachung nach dem verbesserten Konzept wird eine Vollständigkeit des Warenkorbs überprüft.
-
Im Fall eines Montageprozesses kann beispielsweise überprüft werden, ob bestimmte Teile in einem entsprechenden Bereich an der richtigen Stelle montiert worden sind.
-
Das Verfahren zur automatisierten Prozessüberwachung kann aber auch außerhalb von Produktionsverfahren verwendet werden, beispielsweise zur Überwachung von Zugangsbeschränkungen oder zur Diebstahlsicherung.
-
Gemäß dem verbesserten Konzept wird auch eine Vorrichtung zur automatisierten Prozessüberwachung angegeben. Die Vorrichtung weist eine Recheneinheit auf sowie eine Schnittstelle, die dazu eingerichtet ist, Bilddaten, die eine Szene abbilden, von einem Kamerasystem oder einer Speichereinheit zu erhalten und an die Recheneinheit zu übermitteln. Die Recheneinheit ist dazu eingerichtet, basierend auf den Bilddaten festzustellen, dass sich wenigstens ein Objekt innerhalb eines vorgegebenen Bereichs befindet. Die Recheneinheit ist dazu eingerichtet, für jedes der Objekte basierend auf den Bilddaten eine von wenigstens zwei vorgegebenen Objektklassen zu bestimmen. Die Recheneinheit ist dazu eingerichtet, abhängig von den bestimmten Objektklassen zu überprüfen, ob eine vorgegebene, dem Bereich zugeordnete, Regel erfüllt ist und abhängig von einem Ergebnis der Überprüfung ein Ausgabesignal zu erzeugen.
-
Die Schnittstelle kann dabei eine oder mehrere Hardwarekomponenten und/oder eine oder mehrere Softwarekomponenten beinhalten. Die Schnittstelle kann beispielsweise Teil der Recheneinheit sein. Die Schnittstelle kann als Schnittstelle zum drahtlosen oder drahtgebundenen Datenaustausch zwischen Recheneinheit und Kamerasystem beziehungsweise zwischen Recheneinheit und Speichereinheit ausgestaltet sein.
-
Gemäß zumindest einer Ausführungsform der Vorrichtung enthält die Vorrichtung das Kamerasystem oder die Speichereinheit und das Kamerasystem oder die Speichereinheit ist mittels der Schnittstelle mit der Recheneinheit gekoppelt.
-
Weitere Ausführungsformen der Vorrichtung nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausgestaltungsformen des Verfahrens zur automatisierten Prozessüberwachung nach dem verbesserten Konzept und des Produktionsverfahrens nach dem verbesserten Konzept und jeweils umgekehrt. Insbesondere kann eine Vorrichtung nach dem verbesserten Konzept dazu eingerichtet sein, ein Verfahren zur automatisierten Prozessüberwachung nach dem verbesserten Konzept durchzuführen oder die Vorrichtung führt ein solches Verfahren durch.
-
Gemäß dem verbesserten Konzept wird auch ein Computerprogramm mit Befehlen angegeben. Bei Ausführung der Befehle beziehungsweise des Computerprogramms durch eine Recheneinheit veranlassen die Befehle die Recheneinheit dazu, ein Verfahren zur automatisierten Prozessüberwachung, insbesondere nach dem verbesserten Konzept, durchzuführen. Das Verfahren zur automatisierten Prozessüberwachung enthält dabei das Erhalten von Bilddaten, die eine Szene abbilden und das Feststellen basierend auf den Bilddaten, dass sich wenigstens ein Objekt innerhalb eines vorgegebenen Bereichs befindet. Das Verfahren zur automatisierten Prozessüberwachung enthält es auch, dass für jedes der Objekte basierend auf den Bilddaten eine von wenigstens zwei vorgegebenen Objektklassen bestimmt wird und abhängig von den bestimmten Objektklassen überprüft wird, ob eine vorgegebene, dem Bereich zugeordnete Regel erfüllt ist, sowie dass ein Ausgabesignal abhängig von einem Ergebnis der Überprüfung erzeugt wird.
-
Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium angegeben, das ein Computerprogramm nach dem verbesserten Konzept speichert.
-
Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen bezeichnet werden.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigen:
- 1 eine schematische Darstellung einer beispielhaften Ausführungsform einer Vorrichtung zur automatisierten Prozessüberwachung nach dem verbesserten Konzept; und
- 2A eine schematische Darstellung eines Verfahrensschrittes einer beispielhaften Ausführungsform eines Verfahrens zur automatisierten Prozessüberwachung nach dem verbesserten Konzept;
- 2B eine schematische Darstellung eines weiteren Verfahrensschrittes des Verfahrens aus 2A;
- 2C eine schematische Darstellung eines weiteren Verfahrensschrittes des Verfahrens aus 2A;
- 2D eine schematische Darstellung eines weiteren Verfahrensschrittes des Verfahrens aus 2A; und
- 2E eine schematische Darstellung eines weiteren Verfahrensschrittes des Verfahrens aus 2A.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
In 1 ist schematisch eine beispielhafte Ausführungsform einer Vorrichtung 1 zur automatisierten Prozessüberwachung nach dem verbesserten Konzept dargestellt. Die Vorrichtung 1 weist eine Recheneinheit 3 auf, die eine Schnittstelle enthält, um die Recheneinheit 3 drahtlos oder drahtgebunden mit einer Kamera 2 zu verbinden. Die Kamera 2 kann dabei beispielsweise ebenfalls Teil der Vorrichtung 1 sein. Die Kamera 2 kann eine Szene abbilden und basierend darauf Bilddaten 4 erzeugen und über die Schnittstelle an die Recheneinheit 3 übermitteln. Optional kann die Vorrichtung 1 ein Anzeigegerät 5, beispielsweise ein Display oder dergleichen, aufweisen, das mit der Recheneinheit 3 gekoppelt ist.
-
Die Funktionsweise der Vorrichtung 1 wird im Folgenden anhand beispielhafter Ausführungsformen eines Verfahrens zur automatisierten Prozessüberwachung nach dem verbesserten Konzept mit Bezug auf die Figuren 2A bis 2E näher erläutert.
-
Die 2A bis 2E zeigen schematisch Schritte eines Kommissionierungsprozesses, bei dem das Verfahren zur automatisierten Prozessüberwachung zur Vollständigkeitsüberprüfung von Sequenzierungsboxen eingesetzt wird. Dies ist jedoch nicht als Beschränkung des Anwendungsbereichs des verbesserten Konzepts zu verstehen. Insbesondere lassen sich durch das verbesserte Konzept jegliche Prozesse überwachen, bei denen sichergestellt werden soll, dass sich bestimmte Objekte an bestimmten Positionen befinden, sofern diese Objekte einer Kameraüberwachung zugänglich sind.
-
Im Vorfeld zu der Durchführung des Verfahrens zur automatisierten Prozessüberwachung nach dem verbesserten Konzept kann beispielsweise einmalig eine Prozessdefinition durchgeführt werden. Dazu kann beispielsweise ein Standbild der Kamera 2 gespeichert werden und ein entsprechender Algorithmus, beispielsweise ein künstliches neuronales Netzwerk oder ein sonstiger Algorithmus zur Objektklassifizierung ausgewählt werden, um in dem Prozess zu erwartende Objekte zu erkennen.
-
Zur Definition eines entsprechenden Arbeitsbereiches kann dann definiert werden, in welchen Bereichen der Szene sich erwartungsgemäß Objekte befinden können. Diese Bereiche können über eine Rasterdarstellung in das Standbild eingezeichnet werden. Die Granularität oder Auflösung des Rasters kann je nach Bedarf eingestellt werden. Über eine Baumstruktur können ebenso Unterbereiche in den Bereichen definiert werden. Dabei überlappen insbesondere Bereiche einer gemeinsamen Ebene nicht. Zur Darstellung der Bereiche und Unterbereiche in dem Raster können mittels der Recheneinheit 3 in einer Datenbank ein Binärbild und optional ein Polygon abgespeichert werden. Das Binärbild hat dabei beispielsweise dieselbe Größe wie das Raster, also eine Anzahl von Pixeln, welche einer Anzahl von Zellen des Rasters zur Definition des Arbeitsbereichs entsprechen. Für jedes Pixel des Binärbilds wird beispielsweise eine Kennung des jeweils untersten Unterbereichs gespeichert. Die Beziehung zu den höherliegenden Bereichen ist damit über die entsprechende Baumstruktur gegeben. Die optionale Polygondarstellung kann später zum Rendern eines Statusmonitors verwendet werden.
-
Ferner kann definiert werden, welche Objekte für welchen Bereich oder Unterbereich erwartet werden. Für jeden Bereich oder Unterbereich lassen sich jeweils eines oder auch mehrere Objekte angeben. Es ist auch möglich, dass für einen Bereich oder Unterbereich festgelegt wird, dass dort kein Objekt zu erwarten ist. Anhand dieser Definitionen kann für jeden Bereich mit seinen gegebenenfalls vorhandenen Unterbereichen eine Regel definiert werden, die festlegt, ob die Szene korrekt ist oder nicht. Insbesondere wird für jeden Bereich, der nicht Unterbereich eines sonstigen Bereichs ist, genau eine Regel definiert. Die Regel definiert also, wie viele Objekte welcher Klasse in dem Bereich und gegebenenfalls in welchen Unterbereichen des Bereichs erwartet werden.
-
In einem exemplarischen Beispiel wird für einen Bereich beispielsweise ein Sicherheitsgurt erwartet und in Unterbereichen des Bereichs werde Schrauben und/oder Muttern erwartet. Die Regel kann dann beispielsweise definieren, dass der jeweilige Bereich vollständig und korrekt ist, wenn in dem Bereich der Sicherheitsgurt, in einem ersten Unterbereich eine bestimmte Anzahl von Schrauben und in dem zweiten Unterbereich eine bestimmte Anzahl von Muttern vorhanden ist.
-
Für einen Bereich können auch mehrere Vorschriften oder Unterregeln definiert werden. Die Regel ist dann erfüllt, wenn eine der Vorschriften oder Unterregeln erfüllt ist. Beispielsweise kann eine globale Regel vorsehen, dass eine Szene dann als vollständig angesehen wird, wenn für alle Bereiche die jeweilige Regel erfüllt ist.
-
Auf diese Weise kann die Prozessdefinition sehr flexibel an die jeweiligen gemäß dem Prozess zu erwartenden Gegebenheiten angepasst werden.
-
Mittels des optionalen Anzeigegeräts 5 kann ein Statusmonitor angezeigt werden. Aus den gespeicherten Polygonen der Bereiche und Unterbereiche kann der Statusmonitor gerendert werden. Dieser kann beispielsweise die Bereiche und Unterbereiche schematisch darstellen und für einen Benutzer anzeigen. Der Statusmonitor kann beispielsweise darstellen, welche Bereiche vollständig sind, für welche Bereich also die Regel erfüllt ist. Wird ein Fehler oder eine Abweichung erkannt, ist die Regel also jeweils nicht erfüllt, kann der Benutzer damit zeitnah für Abhilfe sorgen. In einer beispielhaften Ausführungsform wird ein Bereich, für den die Regel erfüllt ist, als grün dargestellt, falls die Regel nicht erfüllt ist, wird er rot dargestellt.
-
Nach der Prozessdefinition kann ein Verfahren zur automatisierten Prozessüberwachung nach dem verbesserten Konzept durchgeführt werden. Dazu wird mittels der Kamera 2 ein Bild der Szene aufgenommen und entsprechende Bilddaten 4 werden an die Recheneinheit 3 übermittelt. Im Beispiel der 2A sind auf dem Bild zwei große Kisten 6a, 6b gezeigt, die nebeneinander angeordnet sind. Die erste Kiste 6a enthält eine erste kleine Kiste 7a, die in einem rechten unteren Eckbereich der großen Kiste 6a angeordnet ist. Die zweite große Kiste 6b enthält eine zweite kleine Kiste 7b, die beispielsweise in einem oberen Bereich der zweiten großen Kiste 6b angeordnet ist, sowie eine dritte kleine Kiste 7c, die beispielsweise in einem unteren Bereich der zweiten großen Kiste 6b angeordnet ist.
-
In der ersten kleinen Kiste 7a befindet sich im vorliegenden Beispiel ein Spitzmeißel 11, und in der ersten großen Kiste 6a außerhalb der ersten kleinen Kiste 7a befindet sich ein Dorn 10. In der zweiten kleinen Kiste 7b befindet sich beispielsweise ein Flachmeißel 8, und in der dritten kleinen Kiste 7c befindet sich beispielsweise ein Stift 9b. In der zweiten großen Kiste 6b außerhalb der kleinen Kisten 7b, 7c befindet sich beispielsweise ein Spielzeugauto 14.
-
Die beschriebenen Objekte sind selbstverständlich rein beispielhaft zu verstehen und entsprechend je nach Ausgestaltung des zu überwachenden Prozesses unterschiedlichen Objekten.
-
Im vorliegenden Beispiel können Bereiche und Unterbereiche gemäß der 2B definiert sein. Beispielsweise sind die Bereiche und Unterbereiche jeweils rechteckig. Dies kann jedoch je nach Anwendungsfall auch anders sein. Im exemplarischen Beispiel der 2B sind zwei Bereiche B1, B2 vorgesehen, die nebeneinander liegen. Der erste Bereich B1 enthält einen rechteckigen Unterbereich der ersten Stufe B1.1, der wiederum einen rechteckigen Unterbereich der zweiten Stufe B1.1.1 enthält. Ein weiterer Unterbereich der ersten Stufe B1.2 des Bereichs B1 entspricht dem Bereich B1 ohne den Unterbereich B1.1.
-
Der zweite Bereich B2 enthält zwei Unterbereiche der ersten Stufe B2.1, B2.2. Der Unterbereich B2.1 enthält seinerseits einen rechteckigen Unterbereich der zweiten Stufe B2.1.1 und der Unterbereich B2.2 enthält seinerseits ebenfalls einen rechteckigen Unterbereich der zweiten Stufe B2.2.1. Ein weiterer Unterbereich der ersten Stufe B2.3 ist gegeben durch den Bereich B2 ohne die Unterbereiche B2.1 und B2.2.
-
Für jeden der Bereiche B1, B2 ist insbesondere eine Regel vorgegeben. Die Regel betrifft dabei insbesondere die erwartete Verteilung von Objekten bestimmter Objektklassen auf die Bereiche B1, B2 und ihre jeweiligen Unterbereiche.
-
Im oben beschriebenen Beispiel kann die Regel für den Bereich B1 beispielsweise festlegen, dass sich in dem Bereich B1 eine große Kiste 6a befinden muss und in dem Unterbereich B1.1 eine kleine Kiste 7a. In dem Unterbereich B1.2 muss sich beispielsweise ein Dorn 10 befinden, und in dem Unterbereich B1.1.1 ein Spitzmeißel 11.
-
Entsprechend kann die Regel für den zweiten Bereich B2 vorsehen, dass sich in dem zweiten Bereich B2 eine große Kiste 6b befinden muss und in den Unterbereichen B2.1 und B2.2 jeweils eine kleine Kiste 7b, 7c. In dem Unterbereich B2.1.1 muss sich beispielsweise ein Flachmeißel 8 befinden und in dem Unterbereich B2.2.1 ein Stift 9. In dem Unterbereich B2.3 muss sich beispielsweise ein Spielzeugauto 14 befinden.
-
Je nach Ausgestaltung des zu überwachenden Prozesses können die Regeln selbstverständlich unterschiedlich ausfallen. Auch können für die Bereiche B1, B2 mehrere Regeln vorgesehen sein, die alternativ erfüllt sein können.
-
Die Recheneinheit 3 wendet dann einen Objekterkennungs- oder Objektklassifizierungsalgorithmus, beispielsweise ein CNN, auf die Bilddaten 4 an, um für jedes der Objekte, also insbesondere für die Kisten 6a, 6b, 7a, 7b, 7c sowie die weiteren Objekte 8, 9, 10, 11, 14, eine jeweilige Bounding Box 12 und eine zugehörige Objektklasse zu bestimmen. In 2C ist beispielhaft eine Bounding Box 12 für den Dorn 10 dargestellt. Der Übersichtlichkeit halber sind die übrigen Bounding Boxen nicht dargestellt.
-
Mittels der Recheneinheit 3 wird dann basierend auf den Bounding Boxen 12 bestimmt, ob sich die detektierten Objekte innerhalb der durch die Regeln vorgegebenen Bereiche beziehungsweise Unterbereiche befinden. Dazu wird, wie schematisch in 2D dargestellt, beispielsweise für jede Bounding Box der zugehörige Mittelpunkt 13 bestimmt, indem eine entsprechende Zelle des Rasters beziehungsweise ein entsprechendes Pixel des Binärbildes identifiziert wird. Im Beispiel der 2D ist dies der Übersichtlichkeit halber lediglich für den Dorn 10 dargestellt.
-
Anhand der bestimmten Objektklassen und dem Vergleich der Mittelpunkte 13 der Bounding Boxen 12 mit dem Binärbild beziehungsweise den hinterlegten Kennungen für die jeweiligen Bereiche und Unterbereiche kann dann mittels der Recheneinheit 3 überprüft werden, ob die jeweilige Regel für die Bereiche B1, B2 erfüllt ist. Abhängig davon kann die Recheneinheit 3 ein Ausgabesignal erzeugen.
-
Wie in 2E schematisch dargestellt ist, kann mittels des Anzeigegeräts 5 visuell dargestellt werden, für welchen der Bereiche B1, B2 und, optional, für welchen der Unterbereiche die durch die Regeln definierten Vorschriften erfüllt sind.
-
Wie beschrieben wird durch das verbesserte Konzept ermöglicht, die Prozessüberwachung verschiedenster Prozesse zu automatisieren, um einen manuellen Kontrollaufwand zu reduzieren. Das verbesserte Konzept ist dabei universell anwendbar.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Kamera
- 3
- Recheneinheit
- 4
- Bilddaten
- 5
- Anzeigegerät
- 6a, 6b
- Kisten
- 7a, 7b, 7c
- Kisten
- 8
- Flachmeißel
- 9
- Stift
- 10
- Dorn
- 11
- Spitzmeißel
- 12
- Bounding Box
- 13
- Mittelpunkt
- 14
- Spielzeugauto
- B1, B2
- Bereiche
- B1.1, B1.2, B2.1, B2.2, B2.3
- Unterbereiche
- B1.1.1, B2.1.1, B2.2.1
- Unterbereiche
