-
HINTERGRUND DER ERFINDUNG
-
Die Erfindung bezieht sich auf ein Sicherheitsüberwachungssystem für einen Arbeitsbereich und ein Verfahren zum Identifizieren einer potentiellen Wechselwirkung zwischen einem Menschen und einer automatisierten beweglichen Einrichtung in einem Arbeitsbereich.
-
Fertigungs- und Montagevorgänge setzen die Verwendung von Sicherheitsvorrichtungen ein, um einen Schaden an einem Arbeiter zu verhindern, der in der Nähe der Einrichtung arbeitet. Mehrere Sensoren und andere Vorrichtungen sind im ganzen Fertigungs- oder Montageprozess zum Erfassen der Nähe des Arbeiters zur Einrichtung angeordnet. In Ansprechen darauf, dass sich der Arbeiter innerhalb eines vorbestimmten Abstandes von der Einrichtung befindet, wird die Einrichtung abgeschaltet oder es wird verhindert, dass sie eine Tätigkeit ausführt, da sich der Arbeiter innerhalb einer Warnzone der Einrichtung befindet. Die Warnzone ist ein vordefinierter Bereich oder ein vordefiniertes Gebiet, in dem Sicherheitsinteressen auf der Basis der Nähe des Arbeiters zur Einrichtung berücksichtigt werden, in der eine potentielle Verletzung eines Arbeiters auftreten könnte.
-
Das Folgende sind Beispiele von Sicherheitsvorrichtungen, die verwendet werden, um die Arbeiternähe zur Einrichtung zu detektieren. Bodenmatten werden verwendet, um zu erfassen, ob ein jeweiliger Arbeiter auf oder abseits von der Bodenmatte steht. Die Bodenmatte wird in einem vorbestimmten Abstand von der Einrichtung angeordnet, so dass, wenn der Arbeiter auf der Bodenmatte steht, dann der Arbeiter als in einem annehmbaren Abstand von der Einrichtung betrachtet wird, damit die Montage- oder Fertigungsvorgänge fortfahren. Eine weitere Sicherheitserfassungsvorrichtung umfasst einen Lichtvorhangsensor. Der Lichtvorhang besteht aus einer Emitteranordnung, die zum Emittieren eines Signals vorgesehen ist, und einer Empfängeranordnung zum Empfangen des emittierten Signals. Wenn ein Objekt zwischen dem Paar von Sensoren detektiert wird, dann wird die Einrichtung sofort gestoppt und fährt nicht mit einem nächsten Vorgang fort, da die Sensoren angeben, dass sich der Arbeiter zu nahe in einer Umgebung der automatisierten beweglichen Einrichtung befindet.
-
Andere Sicherheitssysteme sind bekannt, die ein Erfassungssystem auf Sichtbasis verwenden. Erfassungssysteme auf Sichtbasis verwenden eine Kamera, die einen vordefinierten Bereich betrachtet, der die Einrichtung umgibt. Wenn der Arbeiter in den vordefinierten Bereich eintritt, dann wird das Eindringen detektiert und die Maschine schaltet ab. Das Abschalten der Einrichtung ist jedoch kostspielig, da es den Ablauf und den Ertrag des Montage-/Fertigungsprozesses unterbricht. Sobald der Montage-/Fertigungsprozess unterbrochen ist, müssen die Maschinerie und die Steuerungen typischerweise zurückgesetzt werden, um den Prozess wieder zu starten. Überdies erfassen aktuelle Sicherheitssysteme wie z. B. aktuelle Systeme auf Sichtbasis nur die Anwesenheit eines Objekts, das in den Warnzonenbereich eintritt, und unterscheiden nicht zwischen einem Menschen und einem nicht menschlichen Objekt. Daher erzwingen diese Systeme Ausschlusszonen, in denen beliebige Objekte, einschließlich nicht menschlicher Objekte, die sich innerhalb des festgelegten Bereichs bewegen, dem Stoppen des Montage-/Fertigungsprozesses unterliegen. Folglich würde die Verwendung dieser herkömmlichen Systeme in einer Prozesseinrichtung, die Leute und Automatisierung ohne strenge Bewachung signifikant mischt, zu übermäßigen Fehlalarmen und Störauslösern führen, die hinsichtlich Produktivität, Zeit und Geld kostspielig sind.
-
Aus der Druckschrift „Multi-camera People Tracking by Collaborative Particle Filters and Principal Axis-Based Integration" von Wei Du und Justus Piater in Computer Vision-ACCV 2007, Springer Berlin Heidelberg, 2007, Seiten 365 bis 374 ist bekannt, Menschen mittels Bilddaten mehrerer zeitsynchronisierter Abbildungsvorrichtungen auf Sichtbasis zu identifizieren.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Ein Vorteil einer Ausführungsform der Erfindung schafft eine kognitive Überwachung von Menschen in einer Fertigungs- und Montageumgebung zum Verbessern der Sicherheit von Arbeitern und der Produktionseffizienz. Das System verwendet eine automatisierte visuelle Überwachung einer Mensch-Maschine-Wechselwirkung, die nicht von physikalischen Zäunen und Schutzvorrichtungen abhängt. Das System ermöglicht eine natürliche und interaktive Wechselwirkung um die sich bewegende Einrichtung ohne Verwendung einer persönlichen Schutzausrüstung. Die effektive Überwachung von Leuten und einer Automatisierungseinrich-tung verbessert Werksprozesse durch Ermöglichen von virtuellen umkonfigurierbaren dreidimensionalen Zäunen um die automatisierte Einrichtung, die in Abhängigkeit von einem vorhergesagten Bewegungsweg innerhalb des überwachten Bereichs Warnungen auslösen, die automatisierte Einrichtung verlangsamen, beschleunigen oder abschalten können. Diese „virtuelle Schutz“-Fähigkeit kann Fertigungsprozess-Konfigurations-/Umwandlungszeiten verringern und die Menge an ungenutztem Raum um die automatisierte Einrichtung verringern. Obwohl nicht explizit im Einzelnen beschrieben, ist diese Fähigkeit in Nicht-Fertigungs-Sektoren genauso nützlich, in denen Leute und andere Typen von Systemen zusammenwirken, wobei eine automatisierte Überwachung der Zusammenwirkung erwünscht ist. Einige Beispiele wären eine menschliche Zusammenwirkung mit Transportsystemen und Fahrbetriebsbeladung, die Zusammenwirkung mit automatisierten Materialhandhabungssystemen und Durchführung des Ablaufs und des Orts von Leuten für Einzelhandel, Touren, Zugangsbeschränkung oder aus Sicherheitsgründen.
-
Eine Ausführungsform zieht ein Sicherheitsüberwachungssystem für einen Arbeitsbereich oder eine Anzahl von vorgeschriebenen Bereichen unter Verwendung einer Anzahl von miteinander verbundenen Überwachungssystemen in Betracht, die als einziges Ganzes oder in Zusammenarbeit miteinander arbeiten. Der Arbeitsbereich ist einem Gebiet mit einer automatisierten beweglichen Einrichtung zugeordnet. Mehrere Abbildungsvorrichtungen auf Sichtbasis erfassen zeitlich zusammenfallende und somit zeitsynchronisierte Bilddaten des Arbeitsbereichs. Es wird in Erwägung gezogen, dass der Sensor auf Sichtbasis eine für sichtbares Licht, Infrarotlicht, eine Mehrlinsenanordnung, ein Stereopaar, Infrarotlaufzeitabtaster/Bildwandler oder strukturiertes Licht fähige 2D- oder 3D-Abbildung sein kann. Jede Abbildungsvorrichtung auf Sichtbasis nimmt wiederholt ein zeitsynchronisiertes Bild des Arbeitsbereichs von einem jeweiligen Blickpunkt auf, der von den anderen jeweiligen Abbildungsvorrichtungen auf Sichtbasis im Wesentlichen verschieden ist. Eine Einheit zur visuellen Verarbeitung dient zum Analysieren der zeitsynchronisierten Bilddaten, die durch die mehreren Abbildungsvorrichtungen auf Sichtbasis erzeugt werden. Die Einheit zur visuellen Verarbeitung verarbeitet die erfassten Bilddaten zum Identifizieren eines Menschen gegenüber einem nicht menschlichen Objekt innerhalb des Arbeitsbereichs. Die Einheit zur visuellen Verarbeitung bestimmt ferner potentielle Wechselwirkungen zwischen einem Menschen und der automatisierten beweglichen Einrichtung. Die Einheit zur visuellen Verarbeitung erzeugt ferner Steuersignale zum Ermöglichen einer dynamischen Umkonfiguration der automatisierten beweglichen Einrichtung auf der Basis der potentiellen Wechselwirkungen zwischen dem Menschen und der automatisierten beweglichen Einrichtung im Arbeitsbereich. Die Einheit zur visuellen Verarbeitung prüft ferner die Integrität des Systems auf Komponentenausfälle und Bedingungen, die verhindern würden, dass das System korrekt arbeitet und seinen beabsichtigten Zweck erfüllt. Diese „dynamische Integritätsüberwachung“ würde diese verschlechterten oder Ausfallbedingungen detektieren und einen Modus auslösen, in dem das System in einen sicheren Modus ausfallen kann, in dem die Systemintegrität dann wiederhergestellt werden kann und die Prozesswechselwirkung ohne irgendwelche ungewollten Konsequenzen neben der zum Durchführen von Reparaturen erforderlichen Stillstandszeit zu normal zurückkehren kann. Ein Arbeitsbereich oder eine Arbeitszelle ist mit Bezugszielen befähigt, die für die geometrische Kalibrierung und Integrität verwendet werden können. Einige von diesen Bezugselementen könnten aktiv sein, wie z. B. ein IR- Blinklicht im Blickfeld eines Sensors (von Sensoren), die die Zeitbasisaktualisierungen der Bildinformationen und Bedingungen, unter denen die Bilddaten „eingefroren“ sind oder sich nicht aktualisieren, überprüfen könnten.
-
Erfindungsgemäß ist mindestens ein im Arbeitsbereich angeordnetes Blinklicht vorgesehen, das von mindestens einer der mehreren Abbildungsvorrichtungen erfasst wird und die Blinksignale mit einer vorgegebenen Rate erzeugt. Die von dem Blinklicht erzeugten Blinksignale werden in den erfassten zeitsynchronisierten Bilddaten detektiert und es wird geprüft, ob die Blinksignale in den Bilddaten mit der vorgegebenen Rate detektiert werden, um festzustellen, ob sich die Bilddaten aktualisieren.
-
Eine Ausführungsform zieht ein Verfahren zum Identifizieren einer potentiellen Wechselwirkung zwischen einem Menschen und einer automatisierten beweglichen Einrichtung in einem Arbeitsbereich in Betracht. Zeitsynchronisierte Bilder von mehreren Abbildungsvorrichtungen auf Sichtbasis im Arbeitsbereich. Jede Abbildungsvorrichtung auf Sichtbasis nimmt jeweilige zeitsynchronisierte Bilder von einem jeweiligen Blickpunkt auf, der von den anderen jeweiligen Abbildungsvorrichtungen auf Sichtbasis im Wesentlichen verschieden ist. Bewegliche Objekte werden in den erfassten Daten jedes jeweiligen Blickpunkts identifiziert. Daten von beweglichen Objekten werden zum Unterscheiden von Menschen von nicht menschlichen Objekten gefiltert. Der Mensch in jedem Blickpunkt der erfassten Daten wird gemeinsam identifiziert. Der Mensch im Arbeitsbereich wird auf der Basis der gemeinsamen Identifikation des Menschen unter Verwendung von Detektionsinformationen von mehreren Ansichten lokalisiert. Eine potentielle Wechselwirkung mit der automatisierten beweglichen Einrichtung wird bestimmt. Eine Warnung wird in Ansprechen auf die potentielle Wechselwirkung zwischen der automatisierten beweglichen Einrichtung und dem (den) lokalisierten Menschen innerhalb des Arbeitsbereichs geliefert.
-
Eine Variation der Sicherheitsüberwachungsfähigkeit dieses Systems ist die Überwachung von Sperrbereichen, die eine signifikante und möglicherweise gefährliche automatisierte oder andere Einrichtungsaktivität aufweisen können, die nur eine periodische Wartung oder einen periodischen Zugang erfordert. Dieses System würde die Integrität von Zugangskontrollen zu solchen Bereichen überwachen und aufgrund eines unberechtigten Zugangs Alarme auslösen. Da die Wartung oder Routineinstandhaltung in diesem Bereich bei Schichtauszeiten oder einer anderen Stillstandszeit erforderlich sein kann, würde das System einen berechtigten Zugang und Operationen einer Person (oder von Personen) überwachen und würde lokal und mit einer entfernten Überwachungsstation Alarme auslösen, wenn die Aktivität aufgrund eines Unfalls oder medizinischen Notfalls unerwartet stoppt. Diese Fähigkeit könnte die Produktivität für diese Typen von Tätigkeiten verbessern, wobei das System als Teil eines „Kollegensystems“ für die Zwecke der persönlichen Sicherheit betrachtet werden könnte.
-
Dieses System hat auch die Fähigkeit, dass es in Anwendungen angewendet wird, in denen die Aktivitäten von Leuten in einem Bereich verfolgt werden und die Bewegung und Aktivität protokolliert werden. Dies ist bei der automatisierten Zeit- und Bewegungsstudie von Aktivitäten nützlich, die verwendet werden kann, um die Leistung zu überwachen und Daten zur Verwendung beim Verbessern der Arbeitszellenaktivitätseffizienz und -produktivität zu liefern. Diese Fähigkeit kann auch eine Aktivitätsüberwachung innerhalb einer vorgeschriebenen Sequenz ermöglichen, wobei Abweichungen in der Sequenz identifiziert, protokolliert werden können und Alarme für die Detektion von menschlichen Tätigkeitsfehlern erzeugt werden können. Diese „Fehlervermeidungs“-Fähigkeit kann genutzt werden, um zu verhindern, dass sich Tätigkeitsfehler zu unterstromigen Operationen ausbreiten und Qualitäts- und Produktivitätsprobleme aufgrund von Fehlern in der Sequenz oder der korrekten Materialauswahl für die vorgeschriebene Tätigkeit verursachen.
-
Figurenliste
-
- 1 ist ein Blockdiagramm eines Sicherheitsüberwachungssystems.
- 2 ist eine graphische Darstellung der in einem Arbeitsbereich angeordneten Abbildungsvorrichtungen.
- 3 stellt ein Blockdiagramm eines Ablaufdiagramms hoher Ebene des Überwachungsprozesses dar.
- 4 stellt ein Prozessablaufdiagramm für die Sicherheitsüberwachung dar.
- 5 stellt ein Blockdiagramm einer kognitiven Rückkopplungsschleife für die Menschenidentifikation dar.
- 6 ist ein Diagramm einer homographischen Körperachsenabbildung.
- 7 ist eine graphische Darstellung von mehreren Arbeitsbereichen.
- 8 ist eine schematische Darstellung der dreidimensionalen Lokalisierung unter Verwendung von mehreren Sensoransichten.
- 9 ist ein Ablaufplan eines beispielhaften Verfahrens zum dynamischen Überwachen der Integrität des Überwachungssystems auf Sichtbasis.
- 10 stellt das Sicherheitsüberwachungssystem unter Verwendung von IR-Leuchten/Bezugsmarkierungen dar.
-
AUSFÜHRLICHE BESCHREIBUNG
-
In 1 ist im Allgemeinen bei 10 ein Blockdiagramm eines Sicherheitsüberwachungssystems zum Überwachen eines Arbeitsbereichs einer Montage, einer Fertigung oder eines ähnlichen Prozesses gezeigt. Das Sicherheitsüberwachungssystem 10 umfasst mehrere Abbildungsvorrichtungen 12 auf Sichtbasis zum Aufnehmen von visuellen Bildern eines festgelegten Arbeitsbereichs. Die mehreren Abbildungsvorrichtungen 12 auf Sichtbasis sind, wie in 2 dargestellt, an verschiedenen Orten und in verschiedenen Höhen angeordnet, wobei sie die automatisierte bewegliche Einrichtung umgeben. Vorzugsweise werden Weitwinkellinsen oder ähnliche Vorrichtungen mit breitem Blickfeld verwendet, um mehr Arbeitsbereich visuell abzudecken. Jede der Abbildungsvorrichtungen auf Sichtbasis ist zum Aufnehmen eines Bildes des Arbeitsbereichs von einem jeweiligen Blickpunkt, der von den anderen jeweiligen Abbildungsvorrichtungen im Wesentlichen verschieden ist, im Wesentlichen von einer anderen versetzt. Dies ermöglicht, dass verschiedene Streaming-Videobilder von verschiedenen Blickpunkten um den Arbeitsbereich zum Unterscheiden einer Person von der umgebenden Einrichtung aufgenommen werden. Aufgrund von visuellen Behinderungen (d. h. Verdeckungen) mit Objekten und Einrichtung im Arbeitsbereich erhöhen die mehreren Blickpunkte die Wahrscheinlichkeit für die Erfassung der Person in einem oder mehreren Bildern, wenn Verdeckungen innerhalb des Arbeitsbereichs vorhanden sind.
-
Wie in 2 gezeigt, sind eine erste Abbildungsvorrichtung 14 auf Sichtbasis und eine zweite Abbildungsvorrichtung 16 auf Sichtbasis im Wesentlichen in Überkopfpositionen voneinander beabstandet, so dass jede eine Steilansicht erfasst. Die Abbildungsvorrichtungen 14 und 16 schaffen vorschriftsmäßige Steilansichten oder Referenzansichten. Vorzugsweise schaffen die Abbildungsvorrichtungen 14 und 16 eine dreidimensionale Szenenanalyse und -verfolgung auf Stereobasis. Zusätzliche Abbildungsvorrichtungen können über Kopf angeordnet sein und zum Erhalten von zusätzlichen Überkopfansichten von der ersten und der zweiten Abbildungsvorrichtung 14 und 16 auf Sichtbasis beabstandet sein.
-
Verschiedene andere Abbildungsvorrichtungen 17 auf Sichtbasis sind an den Seiten oder virtuellen Ecken des überwachten Arbeitsbereichs zum Erfassen von Ansichten mit mittlerem Winkel und/oder Flachansichten angeordnet. Selbstverständlich können mehr oder weniger Abbildungsvorrichtungen als die in 2 gezeigten verwendet werden, da die Anzahl von Abbildungsvorrichtungen auf Sichtbasis umkonfigurierbar ist, da das System mit einer beliebigen Anzahl von Abbildungsvorrichtungen arbeiten kann; es wird jedoch darauf hingewiesen, dass, wenn die Anzahl von redundanten Abbildungsvorrichtungen zunimmt, das Niveau der Integrität und redundanten Zuverlässigkeit zunimmt. Jede der Abbildungsvorrichtungen 12 auf Sichtbasis ist zum Erfassen eines Bildes von einem Blickpunkt, der von einem anderen im Wesentlichen verschieden ist, von einer anderen beabstandet, um eine dreidimensionale Verfolgung von einer oder mehreren Personen im Arbeitsbereich zu erzeugen. Die durch die mehreren Abbildungsvorrichtungen 12 auf Sichtbasis erfassten verschiedenen Ansichten schaffen gemeinsam alternative Ansichten des Arbeitsbereichs, die ermöglichen, dass das Sicherheitsüberwachungssystem 10 jede Person im Arbeitsbereich identifiziert. Diese verschiedenen Blickpunkte schaffen die Gelegenheit zum Verfolgen jeder Person über den ganzen Arbeitsbereich im dreidimensionalen Raum und verbessern die Lokalisierung und Verfolgung jeder Person, während sie sich durch den Arbeitsbereich bewegen, um potentielle ungewollte Wechselwirkungen zwischen jeder jeweiligen Person und der sich bewegenden automatisierten Einrichtung im Arbeitsbereich zu detektieren.
-
Mit erneutem Bezug auf 1 werden die durch die mehreren Abbildungsvorrichtungen 12 auf Sichtbasis aufgenommenen Bilder zu einer Verarbeitungseinheit 18 über ein Kommunikationsmedium 20 übertragen. Das Kommunikationsmedium kann ein Kommunikationsbus, ein Ethernet oder eine andere Kommunikationsverbindung (einschließlich drahtlos) sein.
-
Die Verarbeitungseinheit 18 ist vorzugsweise ein Hauptrechner, der mit Allerweltskomponenten (nicht unähnlich einem Personalcomputer) implementiert ist, oder eine ähnliche Vorrichtung, die für ihre Betriebsumgebung geeignet bestückt ist. Die Verarbeitungseinheit 18 kann ferner ein Bilderfassungssystem (das möglicherweise aus einem Bilddigitalisierer und/oder einer Netzbilderfassungssoftware besteht) umfassen, das verwendet wird, um Bildströme zur Verarbeitung und Aufzeichnung von Bildströmen als zeitsynchronisierte Daten zu erfassen. Mehrere Verarbeitungseinheiten können in einem Datennetz unter Verwendung eines Protokolls miteinander verbunden sein, das eine Nachrichtenintegrität sicherstellt, wie z. B. Ethernet-Safe. Daten, die den Zustand eines angrenzenden Raums angeben, der durch andere Verarbeitungseinheiten überwacht wird, können in einer zuverlässigen Weise ausgetauscht werden, einschließlich Alarmen, Signalen und Verfolgungszustands-Datenübertragungen für Leute, Objekte, die sich von Bereich zu Bereich bewegen, oder Zonen, die sich über mehrere Systeme erstrecken. Die Verarbeitungseinheit 18 verwendet eine primäre Verarbeitungsroutine und mehrere Unterverarbeitungsroutinen (d. h. eine Unterverarbeitungsroutine für jede Abbildungsvorrichtung auf Sichtbasis). Jede jeweilige Unterverarbeitungsroutine ist für eine jeweilige Abbildungsvorrichtung zum Verarbeiten der durch die jeweilige Abbildungsvorrichtung aufgenommenen Bilder zweckgebunden. Die primäre Verarbeitungsroutine führt eine Mehrfachansichtsintegration durch, um eine Echtzeit-Überwachung des Arbeitsbereichs auf der Basis der gesammelten aufgenommenen Bilder, wie durch jede Unterverarbeitungsroutine verarbeitet, durchzuführen.
-
In 1 wird eine Detektion eines Arbeiters im Arbeitsbereich durch die Unterverarbeitungsroutinen unter Verwendung von mehreren Datenbanken 22, die gemeinsam Menschen in Gegenwart einer anderen beweglichen Einrichtung im Arbeitsbereich detektieren und identifizieren, erleichtert. Die mehreren Datenbanken speichern Daten, die verwendet werden, um Objekte zu detektieren, eine Person aus den detektierten Objekten identifizieren, und eine identifizierte Person im Arbeitsbereich verfolgen. Die verschiedenen Datenbanken umfassen eine Kalibrierungsdatenbank 24, eine Hintergrunddatenbank 25, eine Klassifikationsdatenbank 26, eine Fluchtpunktdatenbank 27, eine Verfolgungsdatenbank 28 und eine Homographiedatenbank 30, sind jedoch nicht darauf begrenzt. Daten, die in den Datenbanken enthalten sind, werden von den Unterverarbeitungsroutinen verwendet, um Menschen im Arbeitsbereich zu detektieren, zu identifizieren und zu verfolgen.
-
Die Kalibrierungsdatenbank 24 stellt Kamerakalibrierungsparameter (intrinsisch und extrinsisch) auf der Basis von Mustern zum Entzerren von verzerrten Objekten bereit.
-
Die Hintergrunddatenbank 25 speichert die Hintergrundmodelle für verschiedene Ansichten und die Hintergrundmodelle werden verwendet, um ein Bild in seine Hintergrund- und Vordergrund-Bestandteilsbereiche aufzutrennen.
-
Die Klassifikationsdatenbank 26 enthält eine Kaskade von Klassifikatoren und zugehörigen Parametern zum automatischen Klassifizieren von Menschen und Nicht-Menschen.
-
Die Fluchtpunktdatenbank 27 enthält die Fluchtpunktinformationen für jede der Kameraansichten und wird verwendet, um die Fluchtpunktkorrektur durchzuführen, so dass Menschen in den korrigierten Bildern aufrecht erscheinen.
-
Die Verfolgungsdatenbank 28 unterhält Spuren für jeden der überwachten Menschen, neue Spuren werden zur Datenbank hinzugefügt, wenn neue Menschen in die Szene eintreten, und gelöscht, wenn sie die Szene verlassen. Die Verfolgungsdatenbank weist auch Informationen über das Erscheinungsbildmodell für jeden Menschen auf, so dass existierende Spuren leicht Spuren in einem anderen Zeitschritt zugeordnet werden können.
-
Die Homographiedatenbank 30 enthält die Homographietransformationsparameter über die verschiedenen Ansichten und die vorschriftsmäßige Ansicht. Geeignete Daten von der (den) Datenbank(en) können zu einem System übertragen werden, das einen angrenzenden Bereich überwacht, wenn sich eine Person in diesen Bereich bewegt, so dass der nahtlose Übergang der Verfolgung der Person von Bereich zu Bereich über mehrere Systeme ermöglicht wird.
-
3 stellt ein Blockdiagramm eines Überblicks hoher Ebene des Werksüberwachungsprozessablaufs, einschließlich der dynamischen Systemintegritätsüberwachung, dar.
-
Im Block 32 werden Datenströme von den Abbildungsvorrichtungen auf Sichtbasis gesammelt, die die zeitsynchronisierten Bilddaten erfassen. Im Block 33 wird die Systemintegritätsüberwachung ausgeführt. Die Einheit zur visuellen Verarbeitung prüft die Integrität des Systems auf Komponentenausfälle und Bedingungen, die verhindern würden, dass das Überwachungssystem korrekt arbeitet und seinen beabsichtigten Zweck erfüllt. Diese „dynamische Integritätsüberwachung“ würde diese verschlechterten oder Ausfallbedingungen detektieren und einen Modus auslösen, in dem das System in einen sicheren Modus ausfallen kann, wobei die Systemintegrität dann wiederhergestellt und die Prozesszusammenwirkung ohne irgendwelche ungewollten Konsequenzen neben der zum Durchführen von Reparaturen erforderlichen Stillstandszeit zu normal zurückkehren kann. 10 stellt einen Arbeitsbereich oder eine Arbeitszelle dar, die mit Bezugszielen befähigt ist, die für die geometrische Kalibrierung und Integrität verwendet werden können. Einige von diesen Bezugselementen könnten aktiv sein, wie z. B. ein IR- Blinklicht im Blickfeld eines Sensors (von Sensoren), die die Zeitbasisaktualisierungen der Bildinformationen und Bedingungen, unter denen die Bilddaten „eingefroren“ sind oder sich nicht aktualisieren, überprüfen könnten.
-
Im Block 34 von 3 tritt dann, wenn die Einheit zur visuellen Verarbeitung Integritätsprobleme feststellt, das System in den ausfallsicheren Modus ein, in dem Alarme betätigt werden und das System abgeschaltet wird. Wenn die Einheit zur visuellen Verarbeitung feststellt, dass keine Integritätsprobleme vorhanden sind, dann werden die Blöcke 35-39 nacheinander eingeleitet. Die Hintergrundsubtraktion wird im Block 35 durchgeführt und die resultierenden Bilder sind die Vordergrundbereiche.
-
Im Block 36 wird eine SwarmVision-Menschüberprüfung zum Detektieren von Menschen aus den aufgenommenen Bildern durchgeführt.
-
Im Block 37 werden der Erscheinungsbildvergleich und die Erscheinungsbildverfolgung ausgeführt, wie vorher beschrieben, die eine Person von den detektierten Objekten unter Verwendung ihrer verschiedenen Datenbanken identifizieren und eine identifizierte Person im Arbeitsbereich verfolgen.
-
Im Block 38 wird eine dreidimensionale Verarbeitung auf die erfassten Daten angewendet, um 3D-Entfernungsinformationen für die Objekte im Arbeitsbereich zu erhalten. Die 3D-Entfernungsinformationen ermöglichen uns, 3D-Belegungsraster und Voxelisierungen zu erzeugen, die Fehlalarme verringern, und ermöglichen uns, Objekte in 3D zu verfolgen.
-
Im Block 39 werden die verglichenen Spuren zum Mehrfachansichtsvereinigungs- und Objektlokalisierungsmodul geliefert. Außerdem wird die dreidimensionale Verarbeitung von den Abbildungsvorrichtungen auf Sichtbasis, wie in 8 gezeigt, zum Mehrfachansichtskombinations- und Objektlokalisierungsmodul zum Bestimmen des Orts, der Richtung, der Geschwindigkeit, der Belegung und der Dichte jedes Menschen innerhalb des Arbeitsbereichs geliefert. Die identifizierten Menschen werden hinsichtlich einer potentiellen Wechselwirkung mit der beweglichen Einrichtung innerhalb des Arbeitsbereichs verfolgt.
-
4 stellt ein Prozessablaufdiagramm zum Detektieren, Identifizieren und Verfolgen von Menschen unter Verwendung des Sicherheitsüberwachungssystems dar. Im Block 40 wird das System durch die primäre Verarbeitungsroutine zum Durchführen einer Mehrfachansichtsintegration im überwachten Arbeitsbereich initialisiert. Die primäre Verarbeitungsroutine initialisiert und startet die Unterverarbeitungsroutinen. Eine jeweilige Unterverarbeitungsroutine ist zum Verarbeiten der von einer jeweiligen Abbildungsvorrichtung erfassten Daten vorgesehen. Jede der Unterverarbeitungsroutinen arbeitet parallel. Die folgenden Verarbeitungsblöcke, wie hier beschrieben, werden durch die primäre Verarbeitungsroutine synchronisiert, um sicherzustellen, dass die aufgenommenen Bilder zeitlich miteinander synchronisiert werden. Die primäre Verarbeitungsroutine wartet, bis jede der Unterverarbeitungsroutinen die Verarbeitung ihrer jeweiligen erfassten Daten vollendet, bevor die Mehrfachansichtsintegration durchgeführt wird. Die Verarbeitungszeit für jede jeweilige Unterverarbeitungsroutine ist vorzugsweise nicht mehr als 100-200 ms. Bei der Systeminitialisierung wird auch eine Systemintegritätsprüfung durchgeführt (siehe auch 3, Block 33). Wenn festgestellt wird, dass die Systemintegritätsprüfung nicht bestanden wird, dann aktiviert das System sofort einen Alarm und tritt in einen ausfallsicheren Modus ein, in dem das System abgeschaltet wird, bis Korrekturhandlungen durchgeführt werden.
-
Mit erneutem Bezug auf 4 werden im Block 41 Streaming-Bilddaten durch jede Abbildungsvorrichtung auf Sichtbasis erfasst. Die durch jede der Abbildungsvorrichtungen erfassten Daten liegen in Pixelform vor (oder werden in diese umgewandelt). Im Block 42 werden die erfassten Bilddaten zu einem Bildpuffer geliefert, in dem die Bilder auf die Verarbeitung für detektierte Objekte und insbesondere Menschen im Arbeitsbereich inmitten der sich bewegenden automatisierten Einrichtung warten. Jedes aufgenommene Bild wird zeitgestempelt, so dass jedes aufgenommene Bild für die gleichzeitige Verarbeitung synchronisiert wird.
-
Im Block 43 wird eine automatische Kalibrierung auf die aufgenommenen Bilder zum Entzerren von Objekten innerhalb des aufgenommenen Bildes angewendet. Die Kalibrierungsdatenbank liefert Kalibrierungsparameter auf der Basis von Mustern zum Entzerren von verzerrten Objekten. Die Bildverzerrung, die durch Weitwinkellinsen verursacht wird, erfordert, dass das Bild durch die Anwendung einer Kamerakalibrierung entzerrt wird. Dies ist erforderlich, da irgendeine wesentliche Verzerrung des Bildes die Homographieabbildungsfunktion zwischen den Ansichten der Abbildungsvorrichtung und den Erscheinungsbildmodellen ungenau macht. Die Abbildungskalibrierung ist ein einmaliger Prozess; eine erneute Kalibrierung ist jedoch erforderlich, wenn die Abbildungsvorrichtungseinrichtung modifiziert wird. Die Bildkalibrierung wird auch durch das Untersystem zur dynamischen Integritätsüberwachung periodisch geprüft, um Bedingungen zu detektieren, unter denen die Abbildungsvorrichtung irgendwie aus ihrem kalibrierten Blickfeld bewegt ist.
-
In den Blöcken 44 und 45 wird eine Hintergrundmodellierung bzw. Vordergrunddetektion eingeleitet. Ein Hintergrundtraining wird verwendet, um Hintergrundbilder von Vordergrundbildern zu unterscheiden. Die Ergebnisse werden zur Verwendung durch jede der Unterverarbeitungsroutinen zum Unterscheiden des Hintergrundes und Vordergrundes in einer Hintergrunddatenbank gespeichert. Alle entzerrten Bilder werden Hintergrund-gefiltert, um Vordergrundpixel innerhalb eines digitalisierten Bildes zu erhalten. Um den Hintergrund in einem aufgenommenen Bild zu unterscheiden, sollten Hintergrundparameter unter Verwendung von Bildern eines leeren Arbeitsplatzblickbereichs trainiert werden, so dass die Hintergrundpixel leicht unterschieden werden können, wenn sich bewegende Objekte vorhanden sind. Die Hintergrunddaten sollten über die Zeit aktualisiert werden. Wenn eine Person im aufgenommenen Bild detektiert und verfolgt wird, werden die Hintergrundpixel aus den Bilddaten zum Detektieren von Vordergrundpixeln gefiltert. Die detektierten Vordergrundpixel werden durch verbundene Komponentenanalyse mit Rauschfilterung und Blob-Größenfilterung in Blobs umgewandelt.
-
Im Block 46 wird eine Blob-Analyse eingeleitet. In einem jeweiligen Arbeitsbereich kann nicht nur eine sich bewegende Person detektiert werden, sondern andere sich bewegende Objekte wie z. B. Roboterarme, Karren oder Kästen können detektiert werden. Daher beinhaltet die Blob-Analyse das Detektieren aller Vordergrundpixel und das Bestimmen, welche Vordergrundbilder (z. B. Blobs) Menschen sind und welche nicht menschliche sich bewegende Objekte sind. Ein Blob kann als Bereich von verbundenen Pixeln (z. B. sich berührenden Pixeln) definiert sein. Die Blob-Analyse beinhaltet die Identifikation und Analyse des jeweiligen Bereichs von Pixeln innerhalb des aufgenommenen Bildes. Das Bild unterscheidet Pixel durch einen Wert. Die Pixel werden dann als entweder Vordergrund oder Hintergrund identifiziert. Pixel mit einem von null verschiedenen Wert werden als Vordergrund betrachtet und Pixel mit einem Nullwert werden als Hintergrund betrachtet. Die Blob-Analyse betrachtet typischerweise verschiedene Faktoren, die den Ort des Blobs, die Fläche des Blobs, den Umfang (z. B. Kanten) des Blobs, die Form des Blobs, den Durchmesser, die Länge oder die Breite des Blobs und die Orientierung umfassen können, ohne jedoch darauf begrenzt zu sein. Techniken für Bild- oder Datensegmentierung sind nicht auf 2D-Bilder begrenzt, sondern können sich auch die Ausgangsdaten von anderen Sensortypen zu Nutze machen, die IR-Bilder und/oder 3D-Volumendaten liefern.
-
Im Block
47 wird als Teil der Blob-Analyse SwarmVision™, das in der
US 2005 / 0 196 047 A1 beschrieben ist, verwendet, um nicht menschliche Blobs von den menschlichen Blobs auszufiltern. Swarmvision™, das in HRL Laboratories Inc. entwickelt wurde, ist ein System für die schnelle Detektion von Objekten wie z. B. Menschen und Fahrzeugen von Bildern und Videos. Es kombiniert Entwicklungssuchmechanismen für die schnelle Suche mit robusten Klassifikatorkaskaden zum Detektieren der Anwesenheit eines Objekts an einem gegebenen Ort. Das SwarmVision™-System verwendet Trainingsdaten, die von einem Trainer der menschlichen Klassifikation erhalten werden, und intelligente Suchalgorithmen auf der Basis von kognitiven Schwärmen.
5 stellt ein Blockdiagramm einer kognitiven Rückkopplungsschleife dar, die sich SwarmVision™ zum Integrieren der Suche, Erkennung und Verfolgung eines menschlichen Objekts zu Nutze macht. SwarmVision™ hat die Fähigkeit, stationäre und sich bewegende Menschen im Arbeitsbereich zu klassifizieren und zu verfolgen, ob der Hintergrund stationär ist oder sich bewegt.
-
Mit erneutem Bezug auf 4 wird eine Körperachsenabschätzung im Block 48 für jedes durch den SwarmVision™-Filterprozess identifizierten menschliche Blob ausgeführt. Eine Hauptkörperachsenlinie für jedes menschliche Blob wird unter Verwendung von Fluchtpunkten (von der Fluchtpunktdatenbank erhalten) im Bild bestimmt. Das heißt, die Körperachsenlinie wird durch zwei interessierende Punkte definiert. Der erste Punkt ist ein Schwerpunkt des identifizierten menschlichen Blobs und der zweite Punkt (d. h. Fluchtpunkt) ist ein jeweiliger Punkt nahe einer Körperunterseite (d. h. nicht notwendigerweise die Blob-Unterseite und möglicherweise außerhalb des Blobs). Die Körperachsenlinie ist eine virtuelle Linie, die den Schwerpunkt mit dem Fluchtpunkt verbindet. Eine jeweilige vertikale Körperachsenlinie wird für jedes durch den SwarmVision™-Filterprozess identifizierte menschliche Blob bestimmt, wie im Allgemeinen bei 60, 61 und 62 von 6 dargestellt. Ein Punktwert für die Menschendetektion kann verwendet werden, um die Bestimmung der Identifikation einer entsprechenden Körperachse zu unterstützen. Der Punktwert schafft ein Vertrauensniveau, dass ein Vergleich mit dem Menschen durchgeführt wurde und dass die entsprechende Körperachse verwendet werden sollte. Jede vertikale Körperachsenlinie wird über Homographieabbildung verwendet, um die Lokalisierung des Menschen zu bestimmen, und wird später im Einzelnen erörtert.
-
Mit erneutem Bezug auf 4 wird eine Farbprofilierung im Block 49 ausgeführt. Ein Farberscheinungsbildmodell wird zum Vergleichen derselben Person in jeder Ansicht vorgesehen. Ein Farbprofil nimmt sowohl Fingerabdrücke als es auch die Identität der jeweiligen Person über das ganze aufgenommene Bild aufrechterhält.
-
Im Block 50 wird „beste passende Spur finden“ bestimmt. Das System versucht, eine beste passende Spur für jedes detektierte Blob durch Vergleichen des Farbmodells jeder Spur mit dem jeweiligen Blob zu finden. Das heißt, das System versucht, Spuren, die in der Datenbank existieren, Spuren, die im aktuellen Bild detektiert werden, zuzuordnen. Ein Erscheinungsbildmodell auf der Basis von Farbprofilen der detektierten Objekte wird verwendet, um die Spuren zuzuordnen, so dass sie fortgepflanzt und angepasst werden können. Die besten passenden Spuren sind das Ergebnis der Zuordnungsoperation und teilen uns mit, welche der Spuren neu sind, welche gelöscht werden müssen und welche Spuren sich fortsetzen. Ein Erscheinungsbildmodell verwendet das Farbprofil für übereinstimmende Objekte. Das Farbprofil ist ein Vektor von gemittelten Farbwerten der Körperachsenlinie mit dem Begrenzungsrechteck des Blobs. Wenn eine Person keiner gespeicherten Spur in der Verfolgungsdatenbank entspricht oder nicht von einem angrenzenden Bereich eingetreten ist, wird eine neue Spur für die neue Person initialisiert, wenn sie detektiert wird. Die neue Person wird zur Spurdatenbank für anschließende Vergleichsoperationen hinzugefügt.
-
Im Block 51 wird eine Unterverarbeitungsroutine zum Hinzufügen/Aktualisieren einer Spur verwendet, wenn eine beste passende Spur gefunden ist. Die Informationen des Blobs werden auf der Basis der besten passenden Spur aktualisiert.
-
Im Block 52 werden gültige Körperachsenlinien für die Mehrfachansichtsintegration gesammelt. Im Block 53 wird auch eine Spur-„Ausschusssammlung“ ausgeführt, so dass alte Spuren automatisch aus der Datenbank gelöscht werden können, wenn sie nicht mehr erforderlich sind (z. B. wenn Spuren in angrenzende Systeme übergehen oder wenn die Person einfach den überwachten Bereich verlässt).
-
In den Blöcken 54 und 55 werden Homographieabbildungs- bzw. Mehrfachansichtsintegrationsroutinen ausgeführt. Homographie ist ein mathematisches Konzept in der Geometrie, in dem eine invertierbare Transformation gerade Linien auf gerade Linien abbildet. Die jeweiligen Körperachsenlinien werden abgebildet, so dass jede Körperachsenlinie mit einer anderen einen Punkt gemeinsam hat. Bei der Homographieabbildung schneiden sich vertikale Körperachsenlinien jeder Ansicht in einem einzigen Punkt auf dem Bodenniveau, wenn eine homographische Abbildung durchgeführt wird, die in 6 im Allgemeinen bei 63 dargestellt ist.
-
Der Prozess funktioniert selbst dann, wenn der Bodenpunkt der jeweiligen Person von einem der Blickpunkte verdeckt ist, da sogar stark verdeckte Blobs die Integration nicht verschlechtern. Selbst wenn eine Person in einer oder mehreren Ansichten verdeckt ist, schafft daher die Körperachsenlinie anderer Ansichten, die in die Referenzansicht abgebildet wird, ein hohes Vertrauen des Orts der Person in der integrierten Ansicht, da die Lokalisierung der Person durch die Mehrfachansichtsintegration genauer wird. Folglich ist das Erreichen einer genauen Bewegungsdetektion nicht kritisch, da die Hauptachsenmerkmale gegen Rauschen robust sind. Die Hauptachsendetektion verwendet kleinste mittlere Quadrate, die ermöglichen, dass das System konsistente markierte Spuren erzeugt. Alternativ können die Homographieabbildung und Integration unter Verwendung einer Kopfebene im Gegensatz zu einer Bodenebene durchgeführt werden, wie im Allgemeinen durch 64 in 6 dargestellt. Die Kopfebenenintegration wird vorteilhafterweise verwendet, da Personen verschiedene Größen aufweisen, und folglich wäre die Verwendung von Kopfebenen mit veränderlichen Höhen praktisch nützlich. Überdies kann die Bodenebenen- und Kopfebenenintegration sowohl gemeinsam mit mehreren hinzugefügten Ebenen integriert als auch verwendet werden, um die Lokalisierung nach Bedarf zu verfeinern, einschließlich der Brust-, Hüft- und Knieebenen, die verwendet werden, um die Lokalisierungsgenauigkeit weiter zu verbessern. Die Homographieinformationen werden verfeinert, um die Begrenzungshüllkurve der verfolgten Person zu erzeugen. In Abhängigkeit von der Auflösung und Konfiguration des Systems können die individuellen Extremitäten der Person verfolgt und in der Begrenzungshüllkurve angegeben werden. Diese Fähigkeit ist wichtig, wenn es erwünscht ist, eine Warnung zu erzeugen, wenn jemand eine Zone erreicht oder betritt, in der die Anwesenheit von Händen oder Füßen wichtig zu detektieren ist.
-
Mit erneutem Bezug auf 4 wird im Block 56 jede der Spuren unter Verwendung von Kalman-Filterung gefiltert. Bei der Kalman-Filterung sind die Zustandsvariablen der Bodenort und die Geschwindigkeit der Person. Folglich werden der Ort, die Bewegungsrichtung und die Bahn jeder identifizierten Person unter Verwendung der Kalman-Filterung aktualisiert. Im Block 57 werden die Ergebnisse graphisch angezeigt. Diese Technik versucht auch, die Absicht der Person „vorherzusehen“, sich weiterhin in einer bestimmten Richtung zu bewegen. Diese Absichtsinformationen können in anderen Modulen verwendet werden, um die Schlussrate von Zeit und Abstand zwischen der Person und der Detektionszone zu berechnen (dies ist beim Verbessern der Zonendetektionslatenz mit dynamischen Detektionszonen, die der Bewegung der Einrichtung folgen, wie z. B. Roboter, Fördereinrichtungen, Gabelstapler und eine andere bewegliche Einrichtung, besonders wichtig). Dies sind auch wichtige Informationen, die die Bewegung der Person in einen angrenzenden überwachten Bereich vorhersehen können, wobei die Daten der Person übertragen werden können und das Empfangssystem Aufmerksamkeitsmechanismen vorbereiten kann, um die Verfolgung der Person im betretenen überwachten Bereich schnell zu erfassen. Die Systemintegrität wird auch geprüft, da eine verfolgte Person nicht aus der Arbeitszelle „verschwinden“ kann. Spuren, die in die Arbeitszelle eingetreten sind, müssen als das Blickfeld verlassend bestätigt werden oder erfolgreich an ein angrenzendes System übertragen werden. Spuren, die verschwinden, springen oder anderweitig nicht die Dynamik aufweisen, die einer menschlichen Bewegung zugeordnet ist, und durch die lokalen Aufmerksamkeitsmechanismen nicht erneut erfasst wurden, müssen eine ausfallsichere kritische Warnung auf der Basis der Latenz erzeugen, die durch die letzte bekannte Position dieser Person und das Zeit/Abstand-Potential des schlimmsten Falls für die Wechselwirkung mit Gefahren bestimmt ist. Keine kritische Warnung ist erforderlich und ein Verfolgungs-„Abbruch“ wird aufgezeichnet, wenn die Person innerhalb der festgelegten Latenz erfasst werden kann und die korrekte Anzahl von Personen weiterhin verfolgt wird. Personen, die in der Arbeitszelle „auftauchen“, ohne dass sie in die Arbeitszelle durch einen festgelegten Abstand verfolgt werden, erzeugen auch eine kritische Warnung, da dies auf einen Systemintegritätsfehler hindeuten könnte, oder die Person sich mit einer Rate bewegt oder beschleunigt, die in der Zelle unsicher ist und außerhalb der Fähigkeit für eine sichere Verfolgungsauflösung liegt. Sicherheitstechnische Informationen werden auf einer Anzeigevorrichtung angezeigt, wenn Personen durch die vordefinierten sicheren Zonen, Warnzonen und kritischen Zonen des Arbeitsbereichs laufen. Die Warnzone und die kritischen Zonen (sowie beliebige andere Zonen, deren Konfiguration im System erwünscht ist, einschließlich dynamischer Zonen) sind Arbeitsbereiche, in denen Alarme vorgesehen werden, wie im Block 58 eingeleitet, wenn die Person die jeweilige Zone betreten hat und verursacht, dass die Einrichtung verlangsamt, stoppt oder anderweitig der Person ausweicht. Die Warnzone ist ein Bereich, in dem die Person zuerst auf die Tatsache aufmerksam gemacht wird, dass die Person einen Bereich betreten hat und sich ausreichend nahe der beweglichen Einrichtung befindet und verursachen könnte, dass die Einrichtung stoppt. Die kritische Zone ist ein Ort (z. B. Hüllkurve), die innerhalb der Warnzone konstruiert ist. Ein kritischerer Alarm kann ausgegeben werden, wenn sich die Person innerhalb der kritischen Zone befindet, so dass die Person ihren Ort in der kritischen Zone kennt oder aufgefordert wird, die kritische Zone zu verlassen. Diese Alarme werden vorgesehen, um die Produktivität des Prozesssystems zu verbessern, indem störende Einrichtungsstillegungen verhindert werden, die durch einen gelegentlichen Eintritt in die Warnzonen durch Personen, die sich ihrer Nähe nicht bewusst sind, verursacht werden. Diese Alarme werden auch durch das System während Intervallen einer erwarteten Wechselwirkung stummgeschaltet, wie z. B. Routinebeladung oder -entladung von Teilen aus dem Prozess. Es ist auch möglich, dass eine momentan stationäre Person im Weg einer dynamischen Zone detektiert werden würde, die sich in ihrer Richtung bewegt.
-
Zusätzlich zu Sicherheitswarnungen, die für die Person geliefert werden, wenn sie sich in den jeweiligen Zonen befindet, kann die Bewegung der Einrichtung in Abhängigkeit vom vorhergesagten Bewegungsweg der Person (oder möglicherweise der dynamischen Zone) innerhalb des Arbeitsbereichs modifiziert (z. B. gestoppt, beschleunigt oder verlangsamt) werden. Das heißt, die Bewegung der automatisierten Einrichtung arbeitet unter einer festgelegten Routine, die vordefinierte Bewegungen mit einer vordefinierten Geschwindigkeit aufweist. Durch Verfolgen und Vorhersagen der Bewegungen der Person innerhalb des Arbeitsbereichs kann die Bewegung der automatisierten Einrichtung modifiziert (d. h. verlangsamt oder beschleunigt) werden, um irgendeinen potentiellen Kontakt mit der Person innerhalb des Arbeitsbereichs zu vermeiden. Dies ermöglicht, dass die Einrichtung den Betrieb aufrechterhält, ohne den Montage-/Fertigungsprozess stilllegen zu müssen. Derzeitige ausfallsichere Operationen werden durch die Ergebnisse einer Risikobewertung auf Tätigkeitsbasis gesteuert und erfordern gewöhnlich, dass eine automatisierte Werkseinrichtung vollständig gestoppt wird, wenn eine Person in einem kritischen Bereich detektiert wird. Startprozeduren erfordern, dass eine Bedienperson der Einrichtung die Steuerungen zurücksetzt, um den Montage-/Fertigungsprozess erneut zu starten. Ein solches unerwartetes Stoppen im Prozess führt gewöhnlich zu Stillstandszeit und Verlust an Produktivität. Das Sicherheitsüberwachungssystem, wie hier gründlich beschrieben, detektiert und überwacht eine Person innerhalb des Arbeitsbereichs von mehreren verschiedenen Blickpunkten, so dass die Verdeckung einer Person in einem oder mehreren der Blickpunkte die Verfolgung der Person nicht beeinflusst. Überdies kann das Sicherheitsüberwachungssystem die automatisierte bewegliche Werkseinrichtung einstellen und dynamisch umkonfigurieren, um potentielle Wechselwirkungen mit der Person innerhalb des Arbeitsbereichs zu vermeiden, ohne die automatisierte Einrichtung stoppen zu müssen. Dies kann das Bestimmen und Durchlaufen eines neuen Bewegungsweges für die automatisierte bewegliche Einrichtung umfassen. Das Sicherheitsüberwachungssystem kann mehrere Leute innerhalb eines Arbeitsbereichs verfolgen, die Verfolgung zu anderen Systemen übertragen, die für die Überwachung von angrenzenden Bereichen verantwortlich sind, und verschiedene Zonen können für mehrere Orte innerhalb des Arbeitsbereichs definiert werden. 7 zeigt eine graphische Darstellung von mehreren Arbeitsbereichen. Die Erfassungsvorrichtungen 12 für einen jeweiligen Arbeitsbereich sind mit einer jeweiligen Verarbeitungseinheit 18 gekoppelt, die für den jeweiligen Arbeitsbereich zweckgebunden ist. Jede jeweilige Verarbeitungseinheit identifiziert und verfolgt die Nähe von Leuten, die ihren jeweiligen Arbeitsbereich durchlaufen, und sie kommunizieren miteinander über eine auf Netzsicherheit bezogene Verbindung 68, so dass Personen verfolgt werden können, wenn sie von einem Arbeitsbereich in den anderen übergehen. Folglich können mehrere visuelle Überwachungssysteme zum Verfolgen von Personen, wenn sie inmitten der verschiedenen Arbeitsbereiche zusammenwirken, verbunden werden.
-
9 ist ein Ablaufplan eines Verfahrens zum dynamischen Überwachen der Integrität des Überwachungssystems auf Sichtbasis. In Schritt 80 wird mindestens ein Bezugsziel im Arbeitsbereich vorgesehen. Wie vorher beschrieben, kann ein Bezugsziel ein Infrarot- Blinklicht (IR) umfassen, ist jedoch nicht darauf begrenzt, das verwendet wird, um Änderungen der Bilddaten über ein jeweiliges Zeitintervall zu detektieren. Mehrere Bezugsziele können im Arbeitsbereich gemeinsam verwendet werden, um irgendwelche Verdeckungen durch entweder Einrichtung oder Menschen im Arbeitsbereich zu vermeiden. Die verschiedenen Abbildungsvorrichtungen auf Sichtbasis werden zeitsynchronisiert, so dass die erfassten Bilddaten gemeinsam analysiert werden können, um irgendwelche durch Verdeckungen verursachten Fehlaalarme zu vermeiden. Überdies können die Bezugsziele an einem beliebigen jeweiligen Ort im Arbeitsraum angebracht sein, um die gewünschten Ergebnisse der Detektion von Änderungen in den Bilddaten zu erreichen.
-
In Schritt 81 werden visuelle Änderungen in den erfassten Bilddaten un-ter Verwendung der Bezugsziele detektiert, wie z. B. das Detektieren der Blinkzeichen des IR- Blinklichts über das jeweilige Zeitintervall. Das IR-Blinklicht kann mit einer jeweiligen Rate aufgeleuchtet werden und das Überwachungssystem kann feststellen, dass die Änderungen, wie in den Bildern detektiert, tatsächlich mit der erwarteten Änderungsrate übereinstimmen, mit der das IR-Blinklicht tatsächlich blinkt.
-
In Schritt 82 wird dann, wenn keine Änderungen in den Bezugszielen in den erfassten Bilddaten detektiert werden, die automatisierte Einrichtung so modifiziert, dass sie in einem sicheren Modus arbeitet. Unerwartete Änderungen können jedoch auch zum Modifizieren der Einrichtung so, dass sie im sicheren Modusbetrieb arbeitet, führen. Wenn beispielsweise ein Bezugsziel ein sich bewegendes Ziel ist, das verfolgt wird und verschwindet, bevor detektiert wird, dass das Bezugsziel von einem erwarteten Austrittsort aus dem Arbeitsbereich austritt, dann kann die Werkseinrichtung so modifiziert werden, dass sie im sicheren Betriebsmodus arbeitet. Ein weiteres Beispiel von unerwarteten Änderungen an einem sich bewegenden Bezugsziel ist, wenn das Bezugsziel an einem ersten Ort erscheint und dann an einem zweiten Ort, der in einem vorbestimmten Abstand vom ersten Ort angeordnet ist, innerhalb einer vorbestimmten Zeit erneut erscheint. Die vorbestimmte Zeit ist eine Zeitdauer, in der nicht erwartet werden würde, dass das Bezugsziel am zweiten Ort innerhalb dieser vorbestimmten Zeitdauer ankommt.
-
In Schritt 83 werden die Einrichtung und das Überwachungssystem auf einen normalen Betriebsmodus zurückgesetzt, wenn das Überwachungssystem entweder korrigiert ist oder bestätigt wird, dass keine Fehler im aktuellen Überwachungssystem vorliegen.
-
10 stellt das Sicherheitsüberwachungssystem mit den IR- Blinklichtern/Bezugsmarkierungen dar. Mindestens ein Infrarotblinklicht (IR-Leuchte) 90 ist in einem Blickbereich von mindestens einer Abbildungsvorrichtung 12 angeordnet. Wie vorher angegeben, wird das IR-Blinklicht 90 verwendet, um Zeitaktualisierungen der Bildinformationen zu überprüfen, um festzustellen, ob sich die Bilddaten nicht aktualisieren. Die IR-Blinklichter 90 können in einem ungenutzten Bereich des Blickfeldes für eine ununterbrochene Betrachtung angeordnet sein oder können in unbehinderten Bereichen im Arbeitsbereich angeordnet sein und von mehreren Kamerablickfeldern gesehen werden. Zusätzlich zu dem IR-Blinklicht 90 können andere Bezugsziele 92 verwendet werden, um Beleuchtungs- und Auflösungsprobleme zu detektieren. Solche Bezugsziele 92 schaffen Informationen, so dass ein Objekt, das im Feld detektiert wird, aufgrund von Beleuchtungs- oder Auflösungsproblemen nicht erkennbar sein kann. Die Form des Objekts unterstützt die Feststellung, ob die dem Objekt zugeordnete Geometrie ungenau ist, so dass das Überwachungssystem eine Korrekturkalibrierung erfordern kann. Selbstverständlich ist auch das Bezugsobjekt, wie gezeigt, nur ein Beispiel eines Bezugsziels und andere Formen oder Objekte können als Bezugsziele verwendet werden.
-
Selbstverständlich ist die Verwendung des Sichtüberwachungssystems in einer Werksumgebung, wie hier beschrieben, nur ein Beispiel dessen, wo das Sichtüberwachungssystem verwendet werden kann, und dieses Sichtüberwachungssystem hat die Fähigkeit, dass es in irgendeiner Anwendung außerhalb einer Werksumgebung angewendet wird, in der die Aktivitäten von Leuten in einem Bereich verfolgt werden und die Bewegung und Aktivität protokolliert werden.
-
Das Sichtüberwachungssystem ist bei der automatisierten Zeit- und Bewegungsstudie von Aktivitäten nützlich, die verwendet werden kann, um die Leistung zu überwachen und Daten zur Verwendung beim Verbessern der Arbeitszellenaktivitätseffizienz und -produktivität zu liefern. Diese Fähigkeit kann auch eine Aktivitätsüberwachung innerhalb einer vorgeschriebenen Sequenz ermöglichen, wobei Abweichungen in der Sequenz identifiziert, protokolliert werden können und Alarme für die Detektion von menschlichen Tätigkeitsfehlern erzeugt werden können. Diese „Fehlervermeidungs“-Fähigkeit kann genutzt werden, um zu verhindern, dass sich Tätigkeitsfehler zu unterstromigen Operationen ausbreiten und Qualitäts- und Produktivitätsprobleme aufgrund von Fehlern in der Sequenz oder der korrekten Materialauswahl für die vorgeschriebene Tätigkeit verursachen.
-
Selbstverständlich ist auch eine Variation der Sicherheitsüberwachungsfähigkeit dieses Systems, wie hier beschrieben, eine Überwachung von Sperrbereichen, die eine signifikante und möglicherweise gefährliche automatisierte oder andere Einrichtungsaktivität aufweisen können, die nur eine periodische Wartung oder einen periodischen Zugang erfordert. Dieses System würde die Integrität von Zugangskontrollen zu solchen Bereichen überwachen und aufgrund eines unberechtigten Zugangs Alarme auslösen. Da die Wartung oder Routineinstandhaltung in diesem Bereich bei Schichtauszeiten oder einer anderen Stillstandszeit erforderlich sein kann, würde das System einen berechtigten Zugang und Operationen einer Person (oder von Personen) überwachen und würde lokal und mit einer entfernten Überwachungsstation Alarme auslösen, wenn die Aktivität aufgrund eines Unfalls oder medizinischen Notfalls unerwartet stoppt. Diese Fähigkeit könnte die Produktivität für diese Typen von Tätigkeiten verbessern, wobei das System als Teil eines „Kollegensystems“ für die Zwecke der persönlichen Sicherheit betrachtet werden könnte.
