EP4699108A1

EP4699108A1 - Verfahren zur überwachung eines schutzbereichs basierend auf einem modellobjektdatensatz mit mindestens einem 3d-modellobjekt

Info

Publication number: EP4699108A1
Application number: EP24725746.2A
Authority: EP
Inventors: Johannes Neidhart
Original assignee: KA Schmersal Holding GmbH and Co KG
Current assignee: KA Schmersal Holding GmbH and Co KG
Priority date: 2023-07-04
Filing date: 2024-04-25
Publication date: 2026-02-25
Also published as: DE102023117654A1; WO2025008090A1; DE102023117654B4

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem 3D-Modellobjekt, mit den Schritten: Erfassen von einem 3D-Datensatz des Schutzbereichs mittels eines 3D-Bildsensors, Detektieren von mindestens einem Erfassungsobjekt in dem erfassten 3D-Datensatz, Verarbeiten des 3D-Datensatzes des detektierten Erfassungsobjekts mittels eines trainingsbasierten Erkennungsalgorithmus, wobei der trainingsbasierte Erkennungsalgorithmus für mindestens eines der 3D-Modellobjekte eine geometrische Transformation ermittelt, um eine Kongruenz zwischen dem 3D-Modellobjekt und dem Erfassungsobjekt zu erreichen, Anwendung der geometrischen Transformation auf das 3D-Modellobjekt, Abgleich des transformierten 3D-Modellobjekts mit dem Erfassungsobjekt mittels eines Vergleichsalgorithmus, wobei bei Übereinstimmung ein Mutingmodus und bei Abweichung ein Sicherheitsmodus ausgelöst wird.

Description

Beschreibung

VERFAHREN ZUR ÜBERWACHUNG EINES SCHUTZBEREICHS BASIEREND AUF EINEM MODELLOBJEKTDATENSATZ MIT MINDESTENS EINEM 3D-MODELLOBJEKT

Die Erfindung betrifft ein Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem D-Modell Objekt.

In der industriellen Sicherheitstechnik werden Schutzbereiche derart abgesichert, so dass eine Gefährdung für Mensch, Maschine und Umwelt minimiert wird. Üblicherweise werden dazu trennende Schutzeinrichtungen, wie Zäune, in Verbindung mit berührungslos wirkenden Schutzeinrichtungen, wie Lichtgittern, Radar- oder Kamerasystemen verwendet. Damit beispielsweise eine Produktion möglichst effizient abläuft, ist es notwendig, dass benötigtes Material in einen Schutzbereich eingebracht werden darf, in dem Personen oder andere Objekte aus Sicherheitsgründen keinen Zutritt haben.

Aus der DE 112021005409 T5 ist eine Sicherheits-Sichtvorrichtung und ein Sicherheits- Sichtsystem bekannt, die einen Roboter ohne Verwendung eines Bereichssensors bremsen oder stoppen, wenn ein Arbeiter in einen Arbeitsbereich des Roboters eintritt. Diese Sicherheits-Sichtvorrichtung umfasst: ein 3D-Humanskelett-Schätzmodell; ein 3D- Roboterskelett-Schätzmodell; eine Eingabeeinheit zur Eingabe eines zweidimensionalen Bildes eines Arbeiters und eines Roboters, das von einer externen Kamera aufgenommen wurde, sowie eines Abstands und einer Neigung zwischen der Kamera und dem Roboter; eine Schätzeinheit, die in das 3D-Humanskelett-Schätzmodell und das 3D-Roboterskelett- Schätzmodell das zweidimensionale Bild und den Abstand und die Neigung zwischen der Kamera und dem Roboter, die eingegeben wurden, eingibt, um dreidimensionale Gelenkpunktdaten zu schätzen, die die dreidimensionalen Koordinatenwerte der Position eines Gelenkpunktes des Arbeiters und die Winkel einer Vielzahl von Gelenkachsen, die in dem Roboter enthalten sind, angeben, und eine Annäherungsbestimmungseinheit, die auf der Basis der dreidimensionalen Gelenkpunktdaten und der Winkel der Vielzahl von Gelenk- achsen einen Arbeiterbereich und einen Roboterbereich berechnet und eine Anweisung zum Abbremsen oder Anhalten des Roboters ausgibt, abhängig von dem Grad der Überlappung des Arbeiterbereichs und des Roboterbereichs.

Aus der WO 2020125875 Ai ist ein Steuerungssystem zur Steuerung einer Bremse, einer Lenkung und/oder eines Antriebs eines autonomen oder automatisierten Fahrzeugs bekannt, wobei das Steuerungssystem eine Erfassungsvorrichtung aufweist, die dazu ausgeführt ist, ein Objekt aus einer Umgebung des Fahrzeugs zu erfassen und entsprechende Objekt daten bereitzustellen. Ein künstliches Intelligenz-Modul ist dazu ausgeführt, aus den Objekt daten zumindest einen ersten Steuerungsbefehl für das Fahrzeug zu erzeugen. Eine Rückfallvorrichtung ist dazu ausgeführt, aus den Objekt daten mithilfe einer deterministischen Berechnungsvorschrift zumindest einen zweiten Steuerungsbefehl für das Fahrzeug zu erzeugen. Eine Sicherheitsvorrichtung ist dazu ausgeführt, basierend auf den Objektdaten Berechnungswerte zu ermitteln und daraus einen Kritikalitätswert zu berechnen. Ein Sicherheitsgate ist dazu ausgeführt, den ersten Steuerungsbefehl des künstlichen Intelligenz-Moduls, den zweiten Steuerungsbefehl der Rückfallvorrichtung und den Kritikalitätswert der Sicherheitsvorrichtung zu empfangen, wobei das Sicherheitsgate dazu ausgeführt ist, basierend auf dem Kritikalitätswert, einen dritten Steuerungsbefehl an das Fahrzeug zu versenden, wobei der dritte Steuerungsbefehl entweder der erste Steuerungsbefehl des künstlichen Intelligenz-Moduls oder der zweite Steuerungsbefehl der Rückfallvorrichtung ist beziehungsweise diesem entspricht.

Es kann als Aufgabe gesehen werden, ein Verfahren bereitzustellen, das eine effiziente Überwachung eines Schutzbereichs gewährleistet, die mit sicherheitstechnischen Ansprüchen konform ist.

Die Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1. Abhängige Ansprüche beziehen sich auf vorteilhafte Ausführungsformen der Erfindung.

Der Erfinder hat sich mit der Kontrolle über den Eingang von Objekten in einen Schutzbereich auf Basis einer automatisierten Erfassung mittels eines oder mehrerer 3D- Bildsensoren befasst und dabei erkannt, dass mit der Entwicklung und der Verbesserung von D-Sensoren eine Objektklassifizierung mit Hilfe dieser Sensoren schnell und effizient durchgeführt werden kann. Verfahren zur Objektklassifizierungen sind seit längerem bekannt, gut etabliert und werden mittels Bilderkennungssystemen für verschiedenste Anwendungen eingesetzt. Diese Verfahren können bspw. mithilfe von D-Abbildungen Objekte von Personen unterscheiden. Den meisten dieser Verfahren ist gemein, dass sie den Einsatz von künstlicher Intelligenz wie bspw. neuronalen Netzen, sowie die dazu notwendigen riesigen Datenmengen als auch die Verwendung von großer Rechenleistung zum Training der künstlichen Intelligenz aufweisen.

Von diesen Verfahren ist jedoch keines für den Einsatz in der funktionalen Sicherheit zur Überwachung eines Schutzbereichs geeignet. Insbesondere rät die Norm IEC 61508 von der Verwendung von Machine Learning Ansätzen in der Sicherheitsfunktion ab.

Das erfindungsgemäße Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem D-Modell objekt, umfasst die Schritte

Erfassen von einem D-Datensatz des Schutzbereichs mittels eines 3D- Bildsensors,

Detektieren von mindestens einem Erfassungsobjekt in dem erfassten 3D- Datensatz,

Verarbeiten des 3D-Datensatzes des detektierten Erfassungsobjekts mittels eines trainingsbasierten Erkennungsalgorithmus, wobei der trainingsbasierte Erkennungsalgorithmus für mindestens eines der 3D-Modellobjekte eine geometrische Transformation ermittelt, um eine Kongruenz zwischen dem 3D-Modellobjekt und dem detektierten Erfassungsobjekt zu erreichen,

Anwendung der geometrischen Transformation auf das 3D-Modellobjekt, Abgleich des transformierten 3D-Modell Objekts mit dem detektierten Erfassungsobjekt mittels eines Vergleichsalgorithmus, wobei bei Übereinstimmung ein Mu- tingmodus und bei Abweichung ein Sicherheitsmodus ausgelöst wird.

Das erfindungsgemäße Verfahren hat als Ziel eine Erfassung des Zugangs von Objekten in den Schutzbereich, wobei durch eine automatische Erkennung eine Entscheidung darüber getroffen werden kann, ob erfasste Objekte im Rahmen der aktiven Schutzfunktion in den Schutzbereich gelangen dürfen (sog. Mutingmodus) oder ob eine sicherheitsrelevante Situation vorliegt, die die Auslösung eines Sicherheitsmodus erfordert.

Unter einem Schutzbereich kann eine örtliche Begrenzung verstanden werden. Die örtliche Begrenzung kann einen Bereich umfassen, der vor einem Eindringen von ungewünschten Objekten geschützt werden soll. In dem Schutzbereich kann bspw. eine Maschine in Betrieb sein, wobei das Eindringen in den Schutzbereich sowohl für die Maschine als auch für das einzubringende Objekt eine Gefahr darstellen kann. Bspw. kann das Einbringen von zu verarbeitendem Material in den Schutzbereich gewollt und das Eindringen von bspw. Menschen ungewollt sein.

Ein D-Modellobjekt ist ein virtuelles Modell eines bekannten realen Objekts. Hierbei handelt es sich um eine virtuelle Darstellung des realen Objekts, wie bspw. eines quaderförmigen, dreieckigen oder runden Objekts. Das 3D-Modellobjekt kann frei skalierbar sein, d.h. das 3D-Modellobjekt kann frei gedreht, stufenlos vergrößert oder beliebig ausgerichtet werden, ohne dabei an Informationen zu verlieren. Das 3D-Modellobjekt kann die äußere Form des realen Objekts abbilden und/ oder sonstige Eigenschaften wie bspw. eine Textur der Oberfläche. Das 3D-Modellobjekt kann bspw. als CAD Modell vorliegen.

Der Modellobjektdatensatz umfasst mindestens ein 3D-Modellobjekt. Der Modellobjektdatensatz kann derart gespeichert sein, sodass er jederzeit verfügbar und abrufbar ist. Der Modellobjektdatensatz kann eine Sammlung von verschiedenen 3D-Modellobjekten umfassen. Der Modellobjektdatensatz umfasst dabei mindestens das 3D-Modellobjekt, dessen Einbringen in den Schutzbereich erlaubt ist.

Unter einem 3D-Bildsensor wird jeglicher Sensor verstanden, der Raumkoordinaten aufnehmen kann. Der 3D-Bildsensor kann beispielsweise eine 3D-Kamera, bspw. nach dem TOF (Time-of-flight) Messprinzip, ein Radarsystem oder ein 3D-LiDAR Sensor sein. 3D-Bildsensoren dieser Art erfassen dreidimensionale Daten in Form von einem 3D- Datensatz. Die erfassten Daten im 3D-Datensatz weisen bevorzugt drei Koordinaten auf, wobei die Koordinaten jeweils eine Höhenkoordinate, eine Breitenkoordinate und eine Tiefenkoordinate umfassen. Der 3D-Bildsensor kann bspw. in Vogelperspektive, parallel oder in einem 45⁰ Winkel zu dem Schutzbereich angeordnet sein. Unter der Anordnung des 3D-Bildsensors in Vogelperspektive kann verstanden werden, dass der 3D-Bildsensor am höchsten Punkt des Schutzbereichs angeordnet ist. Unter einer parallelen Anordnung des D-Bildsensors kann verstanden werden, dass der D-Bildsensor gegenüber einer Wand des Schutzbereichs angeordnet ist. Unter einer Anordnung in einem 45⁰ Winkel zum Schutzbereich kann verstanden werden, dass der D-Bildsensor mit dem Boden den Schutzbereichs einen Winkel von ungefähr 45⁰ einschließt.

Unter dem Detektieren des Erfassungsobjekts kann das Erkennen von zusammenhängenden Strukturen innerhalb des 3D-Datensatzes aufgrund von ähnlichen Parametern, wie bspw. der Intensität der Pixel oder des Kontrasts zwischen den Pixeln, verstanden werden. Das Erfassungsobjekt ist die Abbildung eines realen Objekts, das von dem 3D-Bildsensor erfasst wird. Von dem Erfassungsobjekt kann ein korrespondierendes virtuelles 3D- Modellobjekt im Modellobjektdatensatz vorliegen. Eine diesbezügliche Übereinstimmung wird im Weiteren untersucht.

Der trainingsbasierte Erkennungsalgorithmus umfasst mindestens einen Algorithmus, der mindestens partiell trainiert wurde. Unter dem mindestens partiell trainierten Algorithmus kann ein Rechenvorgang verstanden werden, wobei das dem Rechenvorgang zugrundeliegende Schema durch das Training mit einem Trainingsdatensatz an Präzision zunimmt. Bevorzugt nimmt die Präzision mit jeder Iteration des Trainings zu, wobei die Präzision im Rahmen des Trainings des Algorithmus konvergiert. Der trainingsbasierte Erkennungsalgorithmus kann aus einer Kombination aus verschiedenen Algorithmen aufgebaut sein. Der trainingsbasierte Erkennungsalgorithmus kann in Form von einer dimensionalen oder von mehr dimensionalen Schichten aufgebaut sein. Eine Schicht besteht aus kleinen einzelnen Einheiten, die Eingaben von anderen Einheiten empfangen, Verarbeitungen durchführen und als Ergebnis eine Ausgabe erzeugen können. Unter den Dimensionen von Schichten kann die Anzahl der Schichten in dem trainingsbasierten Erkennungsalgorithmus verstanden werden. Die Architektur und Anzahl der Schichten kann abhängig von Art und Anzahl der zu unterscheidenden Modellobjekten gewählt werden.

Das Verarbeiten des 3D-Datensatzes des detektierten Erfassungsobjekts mittels dem trainingsbasierten Erkennungsalgorithmus umfasst einen Prozess, wobei der 3D- Datensatz des detektierten Erfassungsobjekts dem trainingsbasierten Erkennungsalgo- rithmus übergeben wird. Der trainingsbasierte Erkennungsalgorithmus versucht, eine möglichst gute Zuordnung eines 3D-Modellobjekts zu dem D-Datensatz zu finden. Dies kann, für den Fall, dass der Modellobjektdatensatz mehrere 3D-Modellobjekte umfasst, auch die Auswahl eines passenden 3D-Modellobjekts unter den im Modellobjektdatensatz enthaltenen 3D-Modellobjekten umfassen. Für mindestens ein 3D-Modellobjekt wird durch den trainingsbasierten Erkennungsalgorithmus eine geometrische Transformation ermittelt, mit der das 3D-Modellobjekt an das Erfassungsobjekt angepasst wird. Die geometrische Transformation führt zur maximierten Kongruenz zwischen 3D- Modellobjekt und Erfassungsobjekt. Die Kongruenz definiert dabei die maximale Überlappung des 3D-Modellobjekts und des Erfassungsobjekts. Die Anwendung der geometrischen Transformation an dem 3D-Modellobjekt wird vorteilhaft nicht von dem trainingsbasierten Erkennungsalgorithmus durchgeführt.

Das Ergebnis der Verarbeitung mittels dem trainingsbasierten Erkennungsalgorithmus ist die geometrische Transformation sowie ggfs. die Auswahl des am besten passenden 3D- Modellobjekts. Die geometrische Transformation erlaubt eine Umrechnung des 3D- Modellobjekts zu dem transformierten 3D-Modellobjekt, wobei das transformierte 3D- Modellobjekt mit dem detektierten Erfassungsobjekt kongruent ist.

Die Anwendung der geometrischen Transformation ist eine effektive Umrechnung des 3D- Modellobjekts gemäß den von dem trainingsbasierten Erkennungsalgorithmus ermittelten Parameter, um ein skaliertes, transformiertes 3D-Modellobjekt bereitzustellen.

Im Rahmen des Abgleichs des transformierten 3D-Modell Objekts mit dem Erfassungsobjekt mittels eines Vergleichsalgorithmus wird überprüft, ob die ermittelte geometrische Transformation die Kongruenz zwischen 3D-Modellobjekt und Erfassungsobjekt ergibt. Durch den Vergleichsalgorithmus wird ein direkter Vergleich der Werte des transformierten 3D-Modell Objekts mit den Werten des Erfassungsobjekts durchgeführt. Hierbei kann der Vergleichsalgorithmus einen Wert ermitteln, wie hoch die Kongruenz zwischen dem transformierten 3D-Modellobjekt und dem Erfassungsobjekt ist.

Führt die Berechnung des Vergleichsalgorithmus dazu, dass die Kongruenz zwischen transformiertem 3D-Modellobjekt und Erfassungsobjekt gegeben ist, so wird ein Muting- modus ausgelöst. Im Rahmen des Mutingmodus ist es dem mit dem transformierten 3D- Modellobjekt kongruenten Erfassungsobjekt gestattet, in den Schutzbereich einzudringen.

Schlägt die Übereinstimmung zwischen dem transformierten D-Modellobjekt und dem Erfassungsobjekt fehl, so wird ein Sicherheitsmodus ausgelöst. Der Sicherheitsmodus leitet eine Sicherheitsaktion, wie bspw. Herstellung bzw. Ansteuerung eines sicheren Zustands der Maschine durch Ab schalten, ein und/oder riegelt den Schutzbereich derart ab, sodass das Eintreten des Erfassungsobjekts in den Schutzbereich verhindert wird, um eine Gefahrensituation sowohl für das Erfassungsobjekt als auch für Objekte im Schutzbereich zu vermeiden.

Das erfindungsgemäße Verfahren zeichnet sich durch eine effiziente Überwachung des Schutzbereichs aus, wobei die Rechenvorgänge des trainingsbasierten Erkennungsalgorithmus von der Sicherheitsfunktion getrennt sind. So können leistungsfähige trainingsbasierte Algorithmen der künstlichen Intelligenz bzw. des machine learning in der Sicherheitstechnik verwendet werden, ohne dass deren größter Nachteil der fehlenden Verifikation bzw. deterministischen Nachprüfbarkeit in Kauf genommen werden muss. Denn durch den Abgleich mittels des Vergleichsalgorithmus erfolgt eine separate Überprüfung des Ergebnisses, bevor eine Entscheidung darüber getroffen wird, ob ein Sicherheitsmodus ausgelöst wird.

Nach einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass der trainingsbasierte Erkennungsalgorithmus eine auf mindestens ein aus dem Modellobjektdatensatz abrufbares 3D-Modellobjekt vortrainierte künstliche Intelligenz umfasst. Unter einer künstlichen Intelligenz wird die Fähigkeit einer Maschine verstanden, Fähigkeiten wie logisches Denken, Lernen, Planen und Kreativität zu imitieren. Algorithmen, die im Zusammenhang mit künstlicher Intelligenz bekannt sind, sind bspw. künstliche neuronale Netzwerke. Künstliche neuronale Netzwerke sind dafür bekannt, für die automatische Bilderkennung eingesetzt zu werden. Hierzu kann bspw. ein Residual Neural Network (ResNet) verwendet werden. ResNets sind besondere Arten von neuronalen Netzwerken, die in der Bildverarbeitung genutzt werden. Sie zeichnen sich durch ihre tiefen Architekturen aus, die geringe Fehlerraten hervorrufen können. Nach einer besonders bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der trainingsbasierte Erkennungsalgorithmus mindestens einen Parameter der geometrischen Transformation in Form einer Skalierung, einer Drehung, eine Verzerrung und/oder einer Ausrichtung ermittelt. Unter der Skalierung der Daten kann eine Größenveränderung verstanden werden. Unter der Drehung kann eine Änderung um die eine Achse verstanden werden. Unter der Ausrichtung kann eine laterale Verschiebung verstanden werden. Unter der Verzerrung kann eine optische oder perspektivische Korrektur verstanden werden. Unter einer optischen Korrektur kann eine Korrektur eines Tunneleffekts, Aberrationen und dergleichen verstanden werden. Der trainingsbasierte Erkennungsalgorithmus kann das 3D-Modellobjekt durch Skalierung, Drehung und/oder Ausrichtung an das Erfassungsobjekt anpassen. Vorzugsweise ist der trainingsbasierte Erkennungsalgorithmus bereits auf den Modellobjektdatensatz trainiert, wobei vorzugsweise das Training abgeschlossen wurde.

Gemäß einer bevorzugten Ausführungsform der Erfindung kann der Vergleichsalgorithmus eine deterministische Operation durchführen. Unter einer deterministischen Operation ist ein Algorithmus zu verstehen, der Berechnungen ohne vorheriges Training durchführt. Dem Vergleichsalgorithmus liegt ein Algorithmus zugrunde, dessen Algorithmus nicht aus der künstlichen Intelligenz stammt, sondern auf der deterministischen Operation beruht.

Gemäß einer besonders vorteilhaften Ausführungsform der Erfindung kann der trainingsbasierter Erkennungsalgorithmus von dem Vergleichsalgorithmus unabhängig sein. Unter der Unabhängigkeit zwischen dem trainingsbasierten Erkennungsalgorithmus und dem Vergleichsalgorithmus kann verstanden werden, dass keine mathematische oder prozesstechnische Verbindung zwischen diesen Algorithmen existiert. Zwischen den Algorithmen findet bevorzugt keine Wechselwirkung statt. Dem Vergleichsalgorithmus kann bevorzugt nur das Ergebnis der ermittelten geometrischen Transformation in Form des transformierten D-Modellobjekts zur Überprüfung übergeben werden.

Nach einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass durch den Vergleichsalgorithmus das detektierte Erfassungsobjekt mit einer unteren und oberen Toleranzgrenze des transformierten 3D-Modellobjekts verglichen wird. Unter einer Toleranzgrenze kann ein Grenzwert verstanden werden, mittels dem berechnet wird, ob Kongruenz vorliegt. Die Toleranzgrenze bezeichnet dabei bspw. einen geometrischen Abstand oder eine geometrische Grenzfläche. Liegt das Erfassungsobjekt innerhalb der Toleranzgrenzen, so liegt Kongruenz vor. Falls das Erfassungsobjekt außerhalb der Toleranzgrenzen liegt, hat die geometrische Transformation fehlgeschlagen oder es liegt kein zum Erfassungsobjekt korrespondierendes 3D-Modellobjekt vor.

Gemäß einer bevorzugten Ausführungsform der Erfindung kann der trainingsbasierte Erkennungsalgorithmus einen Wert ermitteln, der zur Angabe führt, welches Erfassungsobjekt vorliegt. Besonders bevorzugt umfasst die Ermittlung dieses Wertes eine Klassifikation, wie bspw. mittels eines Bilderkennungsalgorithmus. Die Klassifikation kann unabhängig von der geometrischen Transformation ermittelt werden. Im Rahmen der Klassifikation können im Falle von mehreren Modell Objekten Wahrscheinlichkeitswerte bereitgestellt werden, wobei die Wahrscheinlichkeit hierbei beziffert, um welches 3D-Modellobjekt es sich handelt. Der Wahrscheinlichkeitswert, dass ein bestimmtes Erfassungsobjekt vorliegt, kann bspw. höher als 70%, bevorzugt höher als 80%, ganz besonders bevorzugt höher als 90%, sein.

Gemäß einer besonders vorteilhaften Ausführungsform der Erfindung kann das Erkennen von mindestens einem Erfassungsobjekt in den erfassten 3D-Daten durch Erkennung von zusammenhängenden 3D-Pixelmengen in den erfassten 3D-Daten erfolgen. Eine zusammenhängende 3D-Pixelmenge kann bspw. dadurch definiert sein, dass benachbarte Pixel nicht nur in einer Ebene korrelieren, d.h. bspw. ähnliche Kontrastwerte oder Intensitätswerte aufweisen, sondern auch im dreidimensionalen Raum.

Nach einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die zusammenhängende 3D-Pixelmenge eine Mindestgröße aufweist. Die Mindestgröße kann dabei von der Auflösung des 3D-Bildsensors und von einer bekannten, vorgegebenen Größe des 3D- Modellobjekts abhängen.

Im Falle einer vorteilhaften Ausgestaltung der Erfindung wird eine Struktur der Oberfläche des Erfassungsmodells durch den trainingsbasierten Erkennungsalgorithmus ermittelt und mit der Struktur der Oberfläche des 3D-Modellobjekts durch den Vergleichsalgorith- mus abgeglichen. Besonders vorteilhaft weist das Erfassungsmodell eine regelmäßige Struktur als Oberfläche auf, da diese von dem trainingsbasierten Erkennungsalgorithmus besonders gut erkannt werden kann. Die Struktur der Oberfläche des Erfassungsmodells kann bspw. glatt oder rau sein. Ebenfalls ist es möglich, dass die Struktur der Oberfläche ein Muster aufweist, wie bspw. Linien oder geometrische Figuren. Falls das Erfassungsobjekt Schüttgut, weiche Materialien oder Flüssigkeiten aufweist, kann die Erkennung der Struktur der Oberfläche nicht zielführend sein, da diese Strukturen sehr unregelmäßig sind.

Nach einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass beim Abgleich des transformierten D-Modellobjekts mit dem Erfassungsobjekt mittels eines Vergleichsalgorithmus, ein örtlicher und/oder zeitlicher Erwartungswert basierend auf mindestens einer Länge und/oder einem Winkel des Erfassungsobjekts und/oder einer Geschwindigkeit und/oder eines Abstands des Erfassungsobjekts zu dem 3D- Bildsensor bestimmt wird, wobei im Rahmen der Überprüfung des darauffolgenden 3D-Datensatzes der Erwartungswert des vorhergehenden 3D-Datensatzes abgerufen wird, um einen Rechenaufwand bei dem Abgleich zu minimieren. Bspw. können die Werte der Positionen von zwei 3D-Datensätzen verwendet werden, um eine Vorhersage des Werts der Position des Erfassungsobjekts im darauffolgenden 3D-Datensatz zu treffen, um den Rechenaufwand weiter zu reduzieren.

Ein Ausführungsbeispiel der Erfindung wird nachstehend mit Bezug auf die Zeichnungen dargelegt. Diese sollen die Erfindung jedoch nicht einschränken, sondern nur erläutern. In den Zeichnungen zeigen:

Fig. ta eine Draufsicht auf einen Schutzbereich mit einem sich auf den Schutzbereich zu bewegenden Erfassungsobjekt;

Fig. ib die Anordnung aus Fig. la entlang der Linie A-A;

Fig. 2a eine Draufsicht auf den Schutzbereich aus Fig. la mit dem in den Schutzbereich eintretenden Erfassungsobjekt; Fig. 2b die Anordnung aus Fig. 2a entlang der Linie A-A;

Fig. 3 eine perspektivische Ansicht eines 3D-Modellobjekts, eines transformierten 3D- Modellobjekts und des detektierten Erfassungsobjekts;

Fig. 4 eine perspektivische Ansicht von dem transformierten 3D-Modellobjekt und dem detektierten Erfassungsobjekt aus Fig. 3;

Fig. 5 eine perspektivische Ansicht von zwei verschiedenen 3D-Modellobjekten;

Fig. 6 ein Schema von Verfahrensschritten zur Überwachung eines Schutzbereichs.

Ein beispielhaftes Verfahren zur Überwachung eines Schutzbereiches wird im Folgenden anhand der Fig. la bis Fig. 5 sowie in dem Schema aus Fig. 6 erläutert.

Fig. la zeigt beispielhaft eine Anordnung eines 3D-Bildsensors 20 an einer Wand 26 mit einer Pforte 28 (siehe Fig. ib), wobei der 3D-Bildsensor 20 einen Schutzbereich 22 überwacht. Der Schutzbereich 22 entspricht dabei dem Sichtfeld des 3D-Bildsensors 20. In Richtung der Wand 26 und des 3D-Bildsensors 22 ist ein Förderband 24 angeordnet, um ein Objekt in den Schutzbereich 22 zu befördern. Beispielhaft ist ein Erfassungsobjekt 10 auf dem Förderband 24 gezeigt. Das Erfassungsobjekt 10 ist außerhalb des Schutzbereichs 22 und kann von dem 3D-Bildsensor 20 nicht detektiert werden. Der 3D-Bildsensor 20 sowie das Förderband 24 sind mit einer Verarbeitungseinheit 50, hier ein Computer, verbunden, um das Förderband 24 zu steuern. Ziel ist es, die Zuführung bekannter Objekte durch die Pforte 28 zu erlauben, aber das Eindringen unbekannter Objekte zu verhindern. Die bekannten Objekte sind als 3D-Modell Objekte 30 in einem 3D-Modellobjektdatensatz auf der Verarbeitungseinheit 50 gespeichert.

Fig. 2a zeigt die Anordnung aus Fig. la, wobei das Erfassungsobjekt 10 in den Schutzbereich 22 durch das Förderband 24 eingebracht wird. Fig. 2b zeigt einen Querschnitt der Anordnung aus Fig. 2a entlang der Linie A-A. Der 3D-Bildsensor erfasst einen 3D- Datensatz, wobei der 3D-Datensatz Raumkoordinaten, in Form von x-, y- und z- Koordinaten umfasst. Ein Abbild des Erfassungsobjekts 10 wird in dem 3D-Datensatz detektiert. Das Detektieren von dem Erfassungsobjekt io in den erfassten D-Daten erfolgt durch die Erkennung von zusammenhängenden D-Pixelmengen in den erfassten 3D- Daten und ermittelt ein detektiertes Erfassungsobjekt 12.

Das detektierte Erfassungsobjekt 12 wird von einem trainingsbasierten Erkennungsalgorithmus verarbeitet, siehe Fig. 3. Der trainingsbasierte Erkennungsalgorithmus ist eine auf die aus dem Modellobjektdatensatz abrufbaren 3D-Modell Objekte vortrainierte künstliche Intelligenz. Der trainingsbasierte Erkennungsalgorithmus ermittelt eine geometrische Transformation, um eine Kongruenz zwischen dem 3D-Modellobjekt 30 und dem delektierten Erfassungsobjekt 12 zu erreichen. Die geometrische Transformation umfasst dabei Parameter in Form einer Skalierung, einer Drehung, einer Verzerrung und/oder einer Ausrichtung.

Die geometrische Transformation wird auf das 3D-Modellobjekt 30 angewandt, um ein transformiertes 3D-Modellobjekt 32 zu bestimmen. Dabei wird das 3D-Modellobjekt 30 abgerufen, die Transformation auf das 3D-Modellobjekt 30 angewandt, um so ein transformiertes 3D-Modellobjekt 32 zu erhalten.

Der Abgleich des transformierten 3D-Modellobjekts 32 mit dem detektierten Erfassungsobjekt 12 wird mittels eines Vergleichsalgorithmus durchgeführt. Der Vergleichsalgorithmus führt eine deterministische Operation durch, wobei dem Vergleichsalgorithmus keinerlei Training zugrunde liegt. Basierend auf der Kongruenz zwischen detektiertem Erfassungsobjekt 12 und transformiertem 3D-Modellobjekt 32, wird der Abgleich mittels des Vergleichsalgorithmus durchgeführt. Um die Entkopplung der Sicherheitsfunktion mit der künstlichen Intelligenz zu gewährleisten, ist der trainingsbasierter Erkennungsalgorithmus von dem Vergleichsalgorithmus unabhängig.

Im Rahmen des Abgleichs des transformierten 3D-Modellobjekts 32 mit dem detektierten Erfassungsobjekts 12 wird die Kongruenz des detektierten Erfassungsobjekts 12 auf Einhaltung von Toleranzgrenzen 40, 42 geprüft. Die Toleranzgrenzen 40, 42 stellen geometrische Begrenzungen dar, siehe Fig. 4. Durch den Vergleichsalgorithmus wird das detektierte Erfassungsobjekt 12 mit einer unteren und oberen Toleranzgrenze 40, 42 des transformierten 3D-Modellobjekts 32 verglichen. Im Rahmen von mehreren verschiedenen möglichen D-Modellobjekten 30 ermittelt der trainingsbasierte Erkennungsalgorithmus einen Wert, der zur Angabe führt, welches Erfassungsobjekt 10 vorliegt, siehe Fig. 5. Das detektierte Erfassungsobjekt 12 wird mit den bekannten D-Modellobjekten 30, hier eine Box und ein Zylinder, verglichen, um die Kongruenz zu bestimmen. Der trainingsbasierte Erkennungsalgorithmus ermittelt dabei den Wert, der die Kongruenz zwischen detektiertem Erfassungsobjekt 12 und 3D-Modell Objekt in Prozent angibt. Das detektierte Erfassungsobjekt 12, hier ein Ausschnitt aus einem Zylinder, erreicht eine Kongruenz von 50% mit dem vorliegenden 3D-Modellobjekt der Box und eine Kongruenz von 90% mit dem vorliegenden 3D-Modellobjekt des Zylinders. Da das detektierte Erfassungsmodel 12 eine höhere Kongruenz mit dem Zylinder aufweist, wird das Erfassungsobjekt 10 als Zylinder klassifiziert.

Falls der Abgleich zu einer Übereinstimmung führt, so wird ein Mutingmodus eingeleitet, während bei einer Abweichung ein Sicherheitsmodus ausgelöst wird. Im Rahmen des Mutingmodus wird dem Erfassungsobjekt 10 gestattet, den Schutzbereich 22 zu durchqueren und durch die Pforte 28 hindurch befördert zu werden. Falls der Sicherheitsmodus ausgelöst wird, so wird das Förderband 24 gestoppt, um ein weiteres Einbringen des Erfassungsobjekts 10 in den Schutzbereich 22 zu verhindern.

Nachfolgend wird der Ablauf des Verfahrens zur Überwachung des Schutzbereichs anhand von Fig. 6 erläutert. Das Erfassen von einem 3D-Datensatz erfolgt mittels des 3D- Bildsensors 22. Das Detektieren von dem Erfassungsobjekt 10 in dem 3D-Datensatz erfolgt mittels einer Bilderkennung und stellt ein detektiertes Erfassungsobjekt 12 bereit. Das Verarbeiten des 3D-Datensatzes mittels eines trainingsbasierten Erkennungsalgorithmus, hier eine künstliche Intelligenz, führt zur Ermittlung einer geometrischen Transformation, wobei die geometrische Transformation Parameter zur maximierten Kongruenz zwischen dem detektierten Erfassungsobjekt und dem 3D-Modellobjekt 30 ermittelt. Die Anwendung der geometrischen Transformation auf das 3D-Modellobjekt 30 ergibt ein transformiertes 3D-Modellobjekt 32. Der Abgleich des transformierten 3D-Modellobjekts 32 mit dem detektierten Erfassungsobjekt 12 löst bei Übereinstimmung einen Mutingmodus und bei Abweichung einen Sicherheitsmodus aus. Im Rahmen des Mutingmodus ist dem Erfassungsobjekt 10 das Eintreten durch die Pforte 28 gestattet, während im Rahmen des

Sicherheitsmodus das Förderband 24 gestoppt wird, um ein Eintreten zu verhindern.

(19525-5)

Bezugszeichenliste io Erfassungsobjekt

12 detektiertes Erfassungsobjekt

20 D-Bildsensor 22 Schutzbereich

24 Förderband

26 Wand

28 Pforte

30 3D-Modell Objekt 32 transformiertes 3D-Modellobjekt

40 untere Toleranzgrenze

42 obere Toleranzgrenze

50 Verarbeitungseinheit

Claims

Ansprüche

1. Verfahren zur Überwachung eines Schutzbereichs (22) basierend auf einem

Modellobjektdatensatz mit mindestens einem D-Modellobjekt (30), mit den Schritten

Erfassen von einem D-Datensatz des Schutzbereichs mittels eines 3D- Bildsensors (20),

Detektieren von mindestens einem Erfassungsobjekt (10) in dem erfassten 3D-Datensatz,

- Verarbeiten des 3D-Datensatzes des detektierten Erfassungsobjekts (12) mittels eines trainingsbasierten Erkennungsalgorithmus, wobei der trainingsbasierte Erkennungsalgorithmus für mindestens eines der 3D- Modellobjekte (30) eine geometrische Transformation ermittelt, um eine Kongruenz zwischen dem 3D-Modellobjekt (30) und dem detektierten Erfassungsobjekt (12) zu erreichen, Anwendung der geometrischen Transformation auf das 3D- Modellobjekt (30), Abgleich des transformierten 3D-Modellobjekts (32) mit dem detektierten Erfassungsobjekt (12) mittels eines Vergleichsalgorithmus, wobei bei Übereinstimmung ein Mutingmodus und bei Abweichung ein Sicherheitsmodus ausgelöst wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der trainingsbasierte

Erkennungsalgorithmus eine auf mindestens ein aus dem Modellobjektdatensatz abrufbares 3D-Modellobjekt (30) vortrainierte künstliche Intelligenz umfasst.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der trainingsbasierte Erkennungsalgorithmus mindestens einen Parameter der geometrische Transformation in Form einer Skalierung, einer Drehung, eine Verzer- rung und/oder einer Ausrichtung ermittelt.

4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Vergleichsalgorithmus eine deterministische Operation durchführt.

5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der trainingsbasierter Erkennungsalgorithmus von dem Vergleichsalgorithmus unabhängig ist.

6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass durch den Vergleichsalgorithmus das detektierte Erfassungsobjekt (12) mit einer unteren und oberen Toleranzgrenze (40, 42) des transformierten 3D- Modellobjekts (32) verglichen wird.

7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der trainingsbasierte Erkennungsalgorithmus einen Wert ermittelt, der zur Angabe führt, welches Erfassungsobjekt (10) vorliegt.

8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennen von mindestens einem Erfassungsobjekt (10) in den erfassten 3D-Daten durch Erkennung von zusammenhängenden 3D- Pixelmengen in den erfassten 3D-Daten erfolgt.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die zusammenhängende 3D-Pixelmenge eine Mindestgröße aufweist.

10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Struktur der Oberfläche des Erfassungsmodells (10) durch den trainingsbasierten Erkennungsalgorithmus ermittelt und mit der Struktur der Oberfläche des 3D-Modellobjekts (30) durch den Vergleichsalgorithmus abgeglichen wird.

11. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass, beim Abgleich des transformierten D-Modellobjekts (32) mit dem de- tektierten Erfassungsobjekt (12) mittels eines Vergleichsalgorithmus, ein örtlicher und/oder zeitlicher Erwartungswert basierend auf mindestens einer Länge und/oder einem Winkel des Erfassungsobjekts (10) und/oder ei- ner Geschwindigkeit und/oder eines Abstands des Erfassungsobjekts (10) zu dem D-Bildsensor (20) bestimmt wird, wobei im Rahmen der Überprüfung des darauffolgenden 3D-Datensatzes der Erwartungswert des vorhergehenden 3D-Datensatzes abgerufen wird, um einen Rechenaufwand bei dem Abgleich zu minimieren.