DE10245720A1 - Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs - Google Patents
Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs Download PDFInfo
- Publication number
- DE10245720A1 DE10245720A1 DE10245720A DE10245720A DE10245720A1 DE 10245720 A1 DE10245720 A1 DE 10245720A1 DE 10245720 A DE10245720 A DE 10245720A DE 10245720 A DE10245720 A DE 10245720A DE 10245720 A1 DE10245720 A1 DE 10245720A1
- Authority
- DE
- Germany
- Prior art keywords
- danger area
- image
- image analysis
- danger
- stereo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
Description
- Die vorliegende Erfindung betrifft ein Verfahren zum Absichern eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine, bei dem mit zumindest einer ersten und einer zweiten Bildaufnahmeeinheit zumindest ein erstes und ein zweites Bild des Gefahrenbereichs aufgenommen wird, wobei die erste und zweite Bildaufnahmeeinheit versetzt zueinander angeordnet sind, und bei dem anhand einer Stereobildanalyse des ersten und zweiten Bildes Fremdobjekte in dem Gefahrenbereich detektiert werden.
- Die Erfindung betrifft ferner eine Vorrichtung zum Absichern eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine, mit zumindest einer ersten und einer zweiten Bildaufnahmeeinheit zum Aufnehmen eines ersten und eines zweiten Bildes des Gefahrenbereichs, wobei die erste und zweite Bildaufnahmeeinheit versetzt zueinander angeordnet sind, und mit einer Auswerteeinheit, die anhand einer Stereobildanalyse des ersten und zweiten Bildes Fremdobjekte in dem Gefahrenbereich detektiert.
- Ein Verfahren und eine Vorrichtung der genannten Art sind beispielsweise aus der
DE 197 09 799 A1 bekannt. - Zum Absichern von Gefahrenbereichen, insbesondere Gefahrenbereichen von Maschinen und industriellen Anlagen, werden bislang überwiegend Lichtschranken, Lichtgitter oder Laserscanner verwendet, häufig auch in Kombination mit mechanischen Absperrungen. Derartige Schutzmaßnahmen erfordern jedoch in der Regel eine recht aufwendige Installation und Justierung. Zudem sind diese Schutzmaßnahmen wenig flexibel, wenn es darum geht, die Absicherung des Gefahrenbereichs an unterschiedliche Betriebssituationen anzupassen.
- Um diese Nachteile zu vermeiden, gibt es seit einiger Zeit Bestrebungen, die Absicherung eines Gefahrenbereichs mit Hilfe einer Bildaufnahmeeinheit, in der Regel einer digitalen Kamera, sowie intelligenten Bildauswerteverfahren durchzuführen. Beispielhaft sei hierzu auf die
DE 199 38 639 A1 verwiesen. In dieser Druckschrift ist eine Vorrichtung zur Absicherung eines Gefahrenbereichs beschrieben, bei der mit Hilfe der Bildaufnahmeeinheit und einem künstlichen, "kooperativen" Ziel eine vir tuelle Barriere vor dem Gefahrenbereich erzeugt wird. Ein Durchbrechen der Barriere kann mit der Bildaufnahmeeinheit, ähnlich wie bei einer Lichtschranke, erkannt werden. Gegebenenfalls wird die Maschine, von der die Gefahr ausgeht, daraufhin abgeschaltet oder anderweitig in einen gefahrlosen Zustand versetzt. - Wenngleich diese bekannte Vorrichtung bereits wesentliche Erleichterungen bei der Installation sowie eine höhere Flexibilität als herkömmliche Lichtschranken etc. besitzt, ist es weiterhin von Nachteil, daß mit dem "kooperativen Ziel" Installationsmaßnahmen im Bereich der abzusichernden Maschine erforderlich sind.
- Aus der eingangs genannten
DE 197 09 799 A1 ist eine Vorrichtung mit zwei im Abstand voneinander angeordneten Bildaufnahmeeinheiten bekannt. Die von den beiden Bildaufnahmeeinheiten an eine Auswerteeinheit gelieferten Bilder werden einer Stereobildanalyse unterzogen, um ein dreidimensionales Abbild des Gefahrenbereichs zu erhalten. Das dreidimensionale Abbild wird anschließend mit einem dreidimensionalen Referenzmodell verglichen, um Fremdobjekte, d.h. sich unzulässigerweise in dem Gefahrenbereich befindliche Objekte, zu detektieren. Bei praktischen Versuchen mit einer vergleichbaren Anordnung hat sich jedoch gezeigt, daß die Erkennungssicherheit, mit der Fremdobjekte in dem Gefahrenbereich detektiert werden können, mit den bislang zur Verfügung stehenden Möglichkeiten der Bildverarbeitung nicht ausreichend ist. Dies gilt zumindest so weit, wie eine entsprechende Vorrichtung zur Absicherung des Gefahrenbereichs von automatisiert arbeitenden Maschinen und dergleichen in industriellen Bereichen, d.h. zum Schutz von Perso nen, eingesetzt werden soll. Für eine solche Anwendung sind extrem kurze Reaktionszeiten (im Bereich von 30 ms) und eine praktisch einhundertprozentige Erkennungssicherheit erforderlich. - Eine vergleichbare Vorrichtung und ein entsprechendes Verfahren sind ferner aus der
EP 1 061 487 A1 bekannt, wobei hinsichtlich der Nachteile das bereits Gesagte gilt. - Aus der
DE 198 09 210 A1 sind eine Vorrichtung und ein Verfahren zum Überwachen einer sogenannten Szene bekannt. Die Szene wird mit einer einzelnen Bildaufnahmeeinheit aufgenommen und mit einem Referenzbild verglichen. Einzelne Punkte innerhalb der Szene werden mit Hilfe einer Lichtquelle gezielt beleuchtet, um bei der Bildaufnahme eine Markierung oder Individualisierung zu erhalten. Dieses Verfahren besitzt jedoch den Nachteil, daß durch die Beleuchtung der Szene, im konkreten Anwendungsfall also des Gefahrenbereichs, eine Störanfälligkeit durch Fremdlichteinstreuung gegeben ist. Störungen durch Fremdlicht können insbesondere in industriellen Produktionsumgebungen auftreten, beispielsweise bei Schweißrobotern oder bei großen Abkantpressen. - Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und eine entsprechende Vorrichtung anzugeben, mit denen insbesondere der Gefahrenbereich einer automatisiert arbeitenden Maschine ohne großen Installationsaufwand, jedoch mit hinreichender Zuverlässigkeit abgesichert werden kann.
- Diese Aufgabe wird mit einem Verfahren der eingangs genannten Art gelöst, bei dem das erste und das zweite Bild zwei verschiedenen Stereobildanalyseverfahren unterzogen werden und bei dem der Gefahrenbereich abgesichert wird, wenn zumindest eines der Stereobildanalyseverfahren eine Fremdobjektdetektion liefert.
- Die Aufgabe wird des weiteren durch eine Vorrichtung der eingangs genannten Art gelöst, bei der in der Auswerteeinheit zwei verschiedene Stereobildanalyseverfahren sowie ein Schaltmittel implementiert sind, wobei das Schaltmittel aktiviert wird, wenn zumindest eines der Stereobildanalyseverfahren eine Fremdobjektdetektion liefert.
- Die erfindungsgemäße Lösung basiert damit im Kern auf der Stereobildauswertung eines ersten und eines zweiten Bildes, die mit zwei zueinander versetzten Bildaufnahmeeinheiten von dem Gefahrenbereich aufgenommen werden. Entsprechende Stereobildanalyseverfahren sind im Stand der Technik für sich genommen bekannt. Beispielsweise sei auf das Buch "Three-Dimensional Computer Vision: A Geometric Viewpoint", von Olivier Faugeras, MIT-Press, Cambridge oder auf den Artikel "Fast Stereo Based Object Detection for Stop & Go Traffic", von U. Franke/I. Kutzbach, INTELLIGENT VEHICLES SYMPOSIUM, Seiten 339-344, Tokio, 1996 verwiesen. Die bislang bekannten Verfahren liefern für sich genommen jedoch nicht die erforderliche Erkennungssicherheit, um die Absicherung des Gefahrenbereichs einer automatisiert arbeitenden Maschine zuverlässig zu gewährleisten. Es hat sich nun jedoch überraschenderweise gezeigt, daß die Kombination verschiedener Stereobildanalyseverfahren, die parallel ne beneinander ausgeführt werden, das Erreichen der für diesen Anwendungszweck erforderlichen Erkennungssicherheit ermöglicht.
- Mit Hilfe der getrennten Stereobildanalyseverfahren werden Objekte in den beiden aufgenommenen Bildern detektiert und es wird deren räumliche Position bestimmt. Anschließend wird anhand der räumlichen Position der Objekte überprüft, ob diese sich in dem überwachten Gefahrenbereich befinden und ob es sich dabei um "Fremdobjekte" handelt. Zusätzliche externe Hilfsmittel, wie beispielsweise ein kooperatives Ziel oder eine gezielte Markierung einzelner Punkte des aufgenommenen Gefahrenbereichs mit Licht, sind nicht erforderlich. Die erfindungsgemäße Lösung ermöglicht damit einen geringen Installationsaufwand. Des weiteren ermöglichen die neue Vorrichtung und das entsprechende Verfahren aufgrund der zahlreichen Varianten moderner Auswertesysteme eine große Flexibilität.
- Die verschiedenen Stereobildanalyseverfahren, die heute bereits zur Verfügung stehen, besitzen jeweils individuelle Stärken und Schwächen, insbesondere im Hinblick auf die Erkennungssicherheit und Störanfälligkeit. Durch Kombination verschiedener Verfahren lassen sich die jeweiligen Schwächen jedoch kompensieren. Sobald auch nur eines der Stereobildanalyseverfahren eine Fremdobjektdetektion liefert, wird der Gefahrenbereich abgesichert, beispielsweise also die überwachte Maschine abgeschaltet oder anderweitig in Ruhezustand versetzt. Die an sich hohen Anforderungen, die an Schutzeinrichtungen für die Maschinensicherheit gestellt werden, lassen sich so vergleichsweise einfach erfüllen.
- Darüber hinaus besitzt die neue Vorrichtung den Vorteil, daß durch die Verwendung unterschiedlicher Verfahren zur Stereobildanalyse zwangsläufig eine Diversität geschaffen wird. Damit ist die Eigenfehlersicherheit der Gesamtvorrichtung gegenüber Funktionsausfällen und Störungen reduziert. Dies ist vor allem im Hinblick auf den bevorzugten Anwendungsbereich, nämlich zur Absicherung von Maschinen und Anlagen von großer Bedeutung.
- Die genannte Aufgabe ist daher vollständig gelöst.
- In einer Ausgestaltung der Erfindung werden das erste und das zweite Bild einerseits einer korrelationsbasierten Stereobildanalyse und andererseits einer konturbasierten Stereobildanalyse unterzogen.
- Eine korrelationsbasierte Stereobildanalyse ist beispielsweise aus dem bereits erwähnten Artikel von Franke/Kutzbach oder einem weiteren Artikel mit dem Titel "Real-Time Stereo Vision for Urban Traffic Scene Understanding" von U. Franke/A. Joos, IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2000 bekannt. Eine konturbasierte Stereobildanalyse ist beispielsweise aus dem bereits erwähnten Buch von O. Faugeras oder aus der schon erwähnten
EP 1 061 487 A1 sowie weiteren, dort angegebenen Literaturstellen bekannt. Wie sich bei praktischen Versuchen gezeigt hat, liefert die Kombination derartiger Verfahren zur Stereobildanalyse besonders gute Ergebnisse im Hinblick auf die Erkennungssicherheit und ferner auch im Hinblick auf die Eigenfehlersicherheit der Gesamtvorrichtung. - In einer weiteren Ausgestaltung der Erfindung werden bei zumindest einem der Stereobildanalyseverfahren nur solche Bereiche von Bildpaaren bearbeitet, die sich signifikant von einem Referenzbild unterscheiden.
- Diese Maßnahme hat sich für den bevorzugten Anwendungsbereich der Erfindung als besonders vorteilhaft erwiesen, da hierdurch die Verarbeitungsgeschwindigkeit gesteigert werden kann. Dementsprechend lassen sich die Reaktionszeiten der Vorrichtung verkürzen, was einerseits eine größere Flexibilität bei der Gestaltung von Schutzzonen und andererseits einen besseren Schutz von Bedienpersonal ermöglicht.
- In einer weiteren Ausgestaltung werden mehrere zeitlich aufeinanderfolgende erste und zweite Bilder ausgewertet, um zumindest einen Bewegungsparameter eines detektierten Fremdobjektes zu bestimmen, insbesondere Größe, Geschwindigkeit, Bewegungsrichtung etc.
- Durch diese Maßnahme läßt sich der Gefährdungsgrad, der von der überwachten Maschine oder dergleichen ausgeht, genauer einschätzen. Infolgedessen ist eine intelligentere Reaktion auf ein erkanntes Fremdobjekt möglich. Beispielsweise kann bei einem sich nur langsam bewegenden Fremdobjekt innerhalb des Gefahrenbereichs zunächst eine Vorwarnung erzeugt werden, während bei einem sich schnell bewegenden Fremdobjekt die überwachte Maschine unmittelbar abgeschaltet wird.
- In einer weiteren Ausgestaltung wird eine zukünftige Belichtungszeit der ersten und zweiten Bildaufnahmeeinheit in Abhängigkeit von dem ersten und zweiten Bild eingestellt.
- Durch diese Maßnahme wird die Belichtungszeit der Bildaufnahmeeinheiten adaptiv an wechselnde Umgebungsbedingungen angepaßt. Die neue Vorrichtung kann damit automatisch auf veränderte Umgebungsbedingungen, beispielsweise Tageslichteinflüsse, reagieren. Einerseits wird dadurch die Erkennungssicherheit gesteigert, andererseits lassen sich unerwünschte Fehlalarme besser vermeiden.
- In einer weiteren Ausgestaltung der Erfindung sind die erste und zweite Bildaufnahmeeinheit in einem gemeinsamen Gerätegehäuse angeordnet.
- Diese Ausgestaltung besitzt den Vorteil, daß ein Großteil der erforderlichen Kalibrierungsarbeiten sowie die relative Justierung der beiden Bildaufnahmeeinheiten zueinander herstellerseitig im Werk vorgenommen werden können. Der Installationsaufwand der erfindungsgemäßen Vorrichtung vor Ort wird dadurch noch weiter vereinfacht. Außerdem wird durch eine präzise Kalibrierung unter Laborbedingungen die Erkennungssicherheit der Gesamtvorrichtung weiter gesteigert.
- Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
- Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
-
1 ein vereinfachtes Blockschaltbild einer erfindungsgemäßen Vorrichtung; -
2 ein vereinfachtes Flußdiagramm zur Erläuterung des erfindungsgemäßen Verfahrens; und -
3 eine Skizze zur Erläuterung einer bevorzugten Anwendung der erfindungsgemäßen Vorrichtung. - In
1 ist eine erfindungsgemäße Vorrichtung in ihrer Gesamtheit mit der Bezugsziffer10 bezeichnet. - Die Vorrichtung
10 beinhaltet im wesentlichen ein Kameramodul12 und eine Auswerteeinheit14 . Innerhalb des Kameramoduls12 sind zwei Bildaufnahmeeinheiten16 ,18 dargestellt (dort als "Kamera1 " und "Kamera2 " bezeichnet). Die Bildaufnahmeeinheiten16 ,18 können komplette, eigenständig funktionsfähige Kameras sein. Alternativ hierzu können einzelne Teile der beiden Kameras jedoch auch gemeinsam genutzt sein, so daß es sich dann im wesentlichen um zwei getrennte Bildsensoren, gegebenenfalls mit jeweils zugehöriger Optik, handelt. - Die Bildaufnahmeeinheiten
16 ,18 sind über einen Bus20 mit der räumlich etwas abgesetzten Auswerteeinheit14 verbunden. Alternativ hierzu ist es auch möglich, die beiden Bildaufnahmeeinheiten16 ,18 und die Auswerteeinheit14 in einem gemeinsamen Gehäuse zu integrieren oder eine sonstige analoge oder digitale Schnittstelle zu verwenden. Die vorliegend dargestellte Anordnung mit einer räumlich getrennten Auswerteeinheit14 besitzt die Vorteile eines modularen Systems, wie geringeres Gewicht der Einzelkomponenten, separate Austauschbarkeit etc. Au ßerdem kann auf diese Weise sehr einfach ein weiteres Kameramodul22 , hier nur schematisch dargestellt, an die gleiche Auswerteeinheit14 angeschlossen werden. - Mit der Bezugsziffer
24 ist eine Schaltvorrichtung bezeichnet, die beispielsweise Relais oder Schütze beinhaltet. Mit der Schaltvorrichtung können die Antriebe einer überwachten Maschine, Anlage und dergleichen in an sich bekannter Weise abgeschaltet werden. Die Schaltvorrichtung24 kann beispielsweise auch in Form einer fehlersicheren SPS (Speicher Programmierbaren Steuerung), d.h. einer sogenannten Sicherheitssteuerung, realisiert sein. In diesem Fall ist es bevorzugt, wenn die Auswerteeinheit14 über einen sicheren Bus, beispielsweise den sogenannten Safetybus der Pilz GmbH & Co., Deutschland, mit der Sicherheitssteuerung verbunden ist. Bei der Sicherheitssteuerung handelt es sich beispielsweise um eine PSS 3000 der Firma Pilz GmbH & Co. - Die grundsätzliche Funktionsweise der Vorrichtung
10 sowie ein bevorzugtes Anwendungsbeispiel werden nachfolgend anhand der2 und3 beschrieben. Gleiche Bezugszeichen bezeichnen dabei jeweils gleiche Elemente. - Nach dem Einschalten der Vorrichtung
10 führt diese gemäß Schritt 30 zunächst einen Selbsttest durch, um die einwandfreie Funktion zu überprüfen. Im Rahmen des Selbsttests werden unter anderem die einzelnen Komponenten der Auswerteeinheit14 sowie der Bildaufnahmeeinheiten16 ,18 auf einwandfreie Funktion hin überprüft. Gemäß Schritt 32 werden dann die Ausgänge der Schaltvorrichtung24 ausgeschaltet, d.h. eine überwachte Ma schine wird zuverlässig in einen definierten, sicheren Zustand gebracht. - Gemäß Schritt 34, der optional ist, wird eine Lichtquelle als Zusatzbeleuchtung eingeschaltet. Dies geschieht insbesondere dann, wenn die vorhandene Umgebungshelligkeit für die Durchführung der nachfolgenden Bildauswertung nicht ausreichend ist.
- Gemäß den Schritten 36, 38 und gegebenenfalls 40 (optional) wird der überwachte Gefahrenbereich von den Bildaufnahmeeinheiten
16 ,18 und gegebenenfalls weiteren vorhandenen Bildaufnahmeeinheiten aufgenommen. Anders ausgedrückt werden zumindest ein erstes und ein zweites Bild des Gefahrenbereichs erzeugt. Gemäß dem hier dargestellten Ausführungsbeispiel erfolgt dies parallel, d.h. mit zueinander synchronisierten Bildaufnahmeeinheiten. - Nach Schritt 42 erfolgt anschließend eine sogenannte Bildvorverarbeitung. Je nach Anwendungsfall werden hier an sich bekannte Verfahren zur Aufbereitung der aufgenommenen Bilder durchgeführt, beispielsweise eine FPN-Korrektur (Fixed Pattern Noise). Des weiteren werden die aufgenommenen ersten und zweiten Bilder im Hinblick auf Grundhelligkeiten etc. aneinander angepaßt.
- Gemäß den Schritten 44, 46 erfolgt anschließend die Auswertung der ersten und zweiten Bilder mit Hilfe von zwei verschiedenen Stereobildanalyseverfahren, um Fremdobjekte innerhalb des Gefahrenbereichs zu detektieren. Im Schritt 44 werden das erste und zweite Bild des Gefahrenbereichs einer korrelations basierten Stereobildanalyse unterzogen. Im Schritt 46 erfolgt hingegen eine konturbasierte Stereobildanalyse.
- In einem besonders bevorzugten Ausführungsbeispiel beinhaltet die konturbasierte Stereobildanalyse eine Regionensegmentierung, d.h. die Einteilung des ersten und zweiten Bildes in einzelne zu vergleichende Bereiche. Bevorzugt werden dann nur Bereiche ausgewertet, die sich von einem Referenzbild signifikant unterscheiden.
- Alternativ kann in anderen Ausführungsbeispielen jedoch auch ein Algorithmus verwendet werden, wie er beispielsweise in der
EP 1 061 487 A1 oder in dem oben erwähnten Buch von O. Faugeras beschrieben ist. Für die korrelationsbasierte Stereobildanalyse wird bevorzugt ein Algorithmus verwendet, wie er in den oben zitierten Artikeln von U. Franke beschrieben ist. Grundsätzlich kommen hier jedoch auch andere Stereobildanalyseverfahren in Betracht. - Im Schritt 48 wird anhand der Ergebnisse aus den beiden Stereobildanalyseverfahren entschieden, ob eine Schutzraumverletzung vorliegt, d.h. ob ein Objekt unzulässigerweise in den überwachten Gefahrenbereich eingedrungen ist. Ist dies nicht der Fall, werden gemäß Schritt 50 die Ausgänge der Schaltvorrichtung
24 eingeschaltet, d.h. die überwachte Maschine wird in Betrieb genommen. - Wurde eine Schutzraumverletzung durch ein Fremdobjekt detektiert, verzweigt das Verfahren zum Schritt 32, wonach die Ausgänge der Schaltvorrichtung ausgeschaltet werden (oder bleiben, wenn bereits im vorherigen Verfahrensdurchlauf ein Fremdobjekt detektiert wurde). Die überwachte Maschine etc. wird hierdurch in ihrer sicheren Ruheposition gehalten. Es versteht sich, daß die Schritte 34 bis 50 rekursiv wiederholt werden, um im Betrieb der Vorrichtung
10 eine kontinuierliche Absicherung des Gefahrenbereichs zu gewährleisten. - Im oberen Teil der
3 ist ein bevorzugter Anwendungsfall der neuen Vorrichtung10 in einer Draufsicht dargestellt, während im unteren Teil die zugehörige Seitenansicht gezeigt ist. Die Vorrichtung10 dient hier zur Absicherung des Gefahrenbereichs58 , der von einem automatisiert arbeitenden Roboter60 ausgeht. Der Gefahrenbereich58 ist hier eine halbkugelförmige Hüllfläche um den Roboter60 , die seinem Bewegungs- oder Arbeitsbereich entspricht. Mit den Bezugsziffern62 und64 sind zwei gestaffelte Schutzzonen bezeichnet, wobei die Schutzzone62 hier eine Art Warnzone bildet, während die Schutzzone64 einen echten Verbotsbereich bildet. Tritt ein Fremdobjekt66 in die Schutzzone62 ein, wird dies von der Vorrichtung10 aufgrund der Stereobildanalyseverfahren44 ,46 detektiert. In einem Ausführungsbeispiel schaltet die Auswerteeinheit14 den Roboter60 dann in einen Betrieb mit reduzierter Geschwindigkeit. Erst bei Verletzung der Schutzzone64 erfolgt ein Not-Aus des Roboters60 . - In einem weiteren Ausführungsbeispiel wird bei Verletzung der Schutzzone
62 der Roboter60 in eine sichere Ruheposition gefahren, von wo aus der Roboter60 einen Neustart aufnehmen kann, sobald die Vorrichtung10 erkennt, daß die Schutzzone62 nicht mehr verletzt ist. Wird hingegen die Schutzzone64 verletzt, ist ein Neustart von Hand erforderlich. - Der Gefahrenbereich
58 und die Schutzzonen62 ,64 sind hier jeweils mit kreisabschnittsförmigen Hüllkurven dargestellt. In einem bevorzugten Ausführungsbeispiel werden der Gefahrenbereich58 und die Schutzzonen62 ,64 jedoch adaptiv an die Bewegungen und Arbeitszustände des Roboters60 angepaßt. Bevorzugt beinhalten die beiden Stereobildanalyseverfahren44 ,46 dabei Zusatzalgorithmen, mit deren Hilfe Parameter des Fremdobjekts66 , beispielsweise seine Form, seine Bewegungsrichtung und -geschwindigkeit, identifiziert und verfolgt werden können. In Abhängigkeit davon werden die Schutzzonen62 ,64 adaptiv so um den Roboter60 herum definiert, daß ohne Gefährdung des Fremdobjektes66 ein "enges" Nebeneinander mit dem Roboter60 möglich ist. Bei dieser Ausführung ist es beispielsweise möglich, mehrere Roboter60 auf engem Raum nebeneinander anzuordnen, wobei mit Hilfe der Vorrichtung10 Kollisionen untereinander verhindert werden. Ferner können in einem weiteren Ausführungsbeispiel Werkstücke (hier nicht dargestellt), die dem Roboter60 zugeführt werden, von "unbefugten" Fremdobjekten unterschieden werden. Die Arbeitsweise des Roboters60 kann auf diese Weise optimiert werden, während gleichzeitig die Sicherheit von beteiligtem Bedienpersonal gewährleistet ist.
Claims (7)
- Verfahren zum Absichern eines Gefahrenbereichs (
58 ), insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine (60 ), bei dem mit zumindest einer ersten und einer zweiten Bildaufnahmeeinheit (16 ,18 ) zumindest ein erstes und ein zweites Bild des Gefahrenbereichs (58 ) aufgenommen wird, wobei die erste und zweite Bildaufnahmeeinheit (16 ,18 ) versetzt zueinander angeordnet sind, und bei dem anhand einer Stereobildanalyse des ersten und zweiten Bildes Fremdobjekte (66 ) in dem Gefahrenbereich (58 ) detektiert werden, dadurch gekennzeichnet, daß das erste und das zweite Bild zwei verschiedenen Stereobildanalyseverfahren (44 ,46 ) unterzogen werden und daß der Gefahrenbereich (58 ) abgesichert wird, wenn zumindest eines der Stereobildanalyseverfahren (44 ,46 ) eine Fremdobjektdetektion liefert. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das erste und das zweite Bild einerseits einer korrelationsbasierten Stereobildanalyse (
44 ) und andererseits einer konturbasierten Stereobildanalyse (46 ) unterzogen werden. - Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß bei zumindest einem der Stereobildanalyseverfahren (
46 ) nur solche Bereiche von Bildpaaren bearbeitet werden, die sich signifikant von einem Referenzbild unterscheiden. - Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß mehrere zeitlich aufeinanderfolgende er ste und zweite Bilder ausgewertet werden, um zumindest einen Bewegungsparameter eines detektierten Fremdobjektes zu bestimmen.
- Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß eine zukünftige Belichtungszeit der ersten und zweiten Bildaufnahmeeinheit in Abhängigkeit von dem ersten und zweiten Bild eingestellt wird.
- Vorrichtung zum Absichern eines Gefahrenbereichs (
58 ), insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine (60 ), mit zumindest einer ersten und einer zweiten Bildaufnahmeeinheit (16 ,18 ) zum Aufnehmen eines ersten und eines zweiten Bildes des Gefahrenbereichs (58 ), wobei die erste und zweite Bildaufnahmeeinheit (16 ,18 ) versetzt zueinander angeordnet sind, und mit einer Auswerteeinheit (14 ), die anhand einer Stereobildanalyse des ersten und zweiten Bildes Fremdobjekte (66 ) in dem Gefahrenbereich (58 ) detektiert, dadurch gekennzeichnet, daß mit der Auswerteeinheit (14 ) zwei verschiedene Stereobildanalyseverfahren (44 ,46 ) sowie ein Schaltmittel (24 ) implementiert sind, wobei das Schaltmittel (24 ) aktiviert wird, wenn zumindest eines der Stereobildanalyseverfahren (44 ,46 ) eine Fremdobjektdetektion liefert. - Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die erste und zweite Bildaufnahmeeinheit (
16 ,18 ) in einem gemeinsamen Gehäuse angeordnet sind.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10245720A DE10245720A1 (de) | 2002-09-24 | 2002-09-24 | Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs |
JP2005509659A JP4405468B2 (ja) | 2002-09-24 | 2003-09-16 | 危険領域を保護する方法および装置 |
PCT/EP2003/010279 WO2004029502A1 (de) | 2002-09-24 | 2003-09-16 | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
DE50304602T DE50304602D1 (de) | 2002-09-24 | 2003-09-16 | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
EP03748036A EP1543270B8 (de) | 2002-09-24 | 2003-09-16 | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
AT03748036T ATE335958T1 (de) | 2002-09-24 | 2003-09-16 | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
US11/088,041 US7729511B2 (en) | 2002-09-24 | 2005-03-23 | Method and device for safeguarding a hazardous area |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10245720A DE10245720A1 (de) | 2002-09-24 | 2002-09-24 | Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10245720A1 true DE10245720A1 (de) | 2004-04-01 |
Family
ID=31969725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10245720A Ceased DE10245720A1 (de) | 2002-09-24 | 2002-09-24 | Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10245720A1 (de) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1482238A3 (de) * | 2003-05-29 | 2005-08-17 | CASAGRANDE SpA | Sicherheitsvorrichtung für Arbeitsmaschinen, insbesondere Bohrmaschinen oder dergleichen, und diese Vorrichtung verwendendes Verfahren zur Erfassung der Anwesenheit von Personen |
DE102005011143A1 (de) * | 2005-03-10 | 2006-09-14 | Sick Ag | Vorrichtung und Verfahren zum Steuern einer sicherheitsrelevanten Funktion |
EP1635107B1 (de) | 2004-09-08 | 2007-02-14 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
WO2008014831A2 (de) | 2006-08-02 | 2008-02-07 | Pilz Gmbh & Co. Kg | Verfahren zur beobachtung einer person in einem industriellen umfeld |
EP1933167A2 (de) * | 2006-12-15 | 2008-06-18 | Sick Ag | Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts |
EP1837586A3 (de) * | 2006-03-21 | 2008-06-25 | Leuze lumiflex GmbH + Co. KG | Vorrichtung zur Überwachung eines Gefahrenbereichs an einem Arbeitsmittel |
DE102007009225B3 (de) * | 2007-02-26 | 2008-07-03 | Sick Ag | Bearbeitungsmaschine |
DE102007014802A1 (de) * | 2007-03-28 | 2008-10-09 | Khs Ag | Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen |
EP2053868A1 (de) * | 2007-10-26 | 2009-04-29 | Sick Ag | Ortsauflösender optoelektronischer Sensor mit Testeinheit und Testverfahren hierfür |
EP2083209A1 (de) * | 2008-01-28 | 2009-07-29 | Sick Ag | Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten |
DE102009050850A1 (de) * | 2009-10-19 | 2011-04-21 | Daimler Ag | Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen |
DE102010054626A1 (de) | 2010-12-16 | 2011-07-28 | Daimler AG, 70327 | Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches eines Verkehrsmittels zur Beförderung von Personen |
DE102011101246A1 (de) * | 2011-05-11 | 2012-11-15 | Conti Temic Microelectronic Gmbh | Redudante objektdetektion für fahrerassistenzsysteme |
ITRN20120036A1 (it) * | 2012-07-09 | 2014-01-10 | Wide Automation S R L | Sistema e procedimento di supervisione |
DE102014226691A1 (de) * | 2014-12-19 | 2016-06-23 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zur Überwachung eines Koordinatenmessgeräts |
DE102005028490C5 (de) * | 2005-06-20 | 2016-07-14 | Sick Ag | Kamerasystem |
DE102015225587A1 (de) * | 2015-12-17 | 2017-06-22 | Volkswagen Aktiengesellschaft | Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit |
DE102010036852C5 (de) | 2010-08-05 | 2018-03-22 | Sick Ag | Stereokamera |
CN108693514A (zh) * | 2017-04-07 | 2018-10-23 | 发那科株式会社 | 对距离图像的异常进行检测的拍摄装置 |
DE102019123581A1 (de) * | 2019-09-03 | 2021-03-04 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zur Ausführung einer Sicherheitsfunktion |
DE102020112699A1 (de) | 2020-05-11 | 2021-11-11 | Sick Ag | Sicherheitssystem |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19606819A1 (de) * | 1996-02-23 | 1997-08-28 | Siemens Nixdorf Inf Syst | Kombinationsscanner |
DE19709799A1 (de) * | 1997-03-10 | 1998-09-17 | Bosch Gmbh Robert | Einrichtung zur Videoüberwachung einer Fläche |
DE19809210A1 (de) * | 1998-03-04 | 1999-09-16 | Siemens Ag | Verfahren und Vorrichtung zur Überwachung einer Szene |
EP1061487A1 (de) * | 1999-06-17 | 2000-12-20 | Istituto Trentino Di Cultura | Verfahren und Vorrichtung zur automatischen Kontrolle einer Raumregion |
DE19938639A1 (de) * | 1999-08-14 | 2001-02-22 | Pilz Gmbh & Co | Vorrichtung zur Absicherung eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine |
DE10138960A1 (de) * | 2001-08-03 | 2003-02-27 | Pilz Gmbh & Co | Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs |
-
2002
- 2002-09-24 DE DE10245720A patent/DE10245720A1/de not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19606819A1 (de) * | 1996-02-23 | 1997-08-28 | Siemens Nixdorf Inf Syst | Kombinationsscanner |
DE19709799A1 (de) * | 1997-03-10 | 1998-09-17 | Bosch Gmbh Robert | Einrichtung zur Videoüberwachung einer Fläche |
DE19809210A1 (de) * | 1998-03-04 | 1999-09-16 | Siemens Ag | Verfahren und Vorrichtung zur Überwachung einer Szene |
EP1061487A1 (de) * | 1999-06-17 | 2000-12-20 | Istituto Trentino Di Cultura | Verfahren und Vorrichtung zur automatischen Kontrolle einer Raumregion |
DE19938639A1 (de) * | 1999-08-14 | 2001-02-22 | Pilz Gmbh & Co | Vorrichtung zur Absicherung eines Gefahrenbereichs, insbesondere des Gefahrenbereichs einer automatisiert arbeitenden Maschine |
DE10138960A1 (de) * | 2001-08-03 | 2003-02-27 | Pilz Gmbh & Co | Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1482238A3 (de) * | 2003-05-29 | 2005-08-17 | CASAGRANDE SpA | Sicherheitsvorrichtung für Arbeitsmaschinen, insbesondere Bohrmaschinen oder dergleichen, und diese Vorrichtung verwendendes Verfahren zur Erfassung der Anwesenheit von Personen |
US7623031B2 (en) | 2004-09-08 | 2009-11-24 | Sick Ag. | Method and apparatus for the control of a safety-relevant function of a machine |
EP1635107B1 (de) | 2004-09-08 | 2007-02-14 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
DE102005011143A1 (de) * | 2005-03-10 | 2006-09-14 | Sick Ag | Vorrichtung und Verfahren zum Steuern einer sicherheitsrelevanten Funktion |
DE102005028490C5 (de) * | 2005-06-20 | 2016-07-14 | Sick Ag | Kamerasystem |
EP1837586A3 (de) * | 2006-03-21 | 2008-06-25 | Leuze lumiflex GmbH + Co. KG | Vorrichtung zur Überwachung eines Gefahrenbereichs an einem Arbeitsmittel |
WO2008014831A2 (de) | 2006-08-02 | 2008-02-07 | Pilz Gmbh & Co. Kg | Verfahren zur beobachtung einer person in einem industriellen umfeld |
WO2008014831A3 (de) * | 2006-08-02 | 2008-04-03 | Daimler Ag | Verfahren zur beobachtung einer person in einem industriellen umfeld |
US8154590B2 (en) | 2006-08-02 | 2012-04-10 | Pilz Gmbh & Co. Kg | Method for observation of a person in an industrial environment |
EP1933167A2 (de) * | 2006-12-15 | 2008-06-18 | Sick Ag | Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts |
EP1933167A3 (de) * | 2006-12-15 | 2009-01-14 | Sick Ag | Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts |
DE102007009225B3 (de) * | 2007-02-26 | 2008-07-03 | Sick Ag | Bearbeitungsmaschine |
EP2132129B1 (de) * | 2007-03-28 | 2017-09-20 | KHS GmbH | Verfahren zur überwachung, steuerung und optimierung von abfüllanlagen |
EP2132129A2 (de) * | 2007-03-28 | 2009-12-16 | Khs Ag | Verfahren zur überwachung, steuerung und optimierung von abfüllanlagen |
DE102007014802A1 (de) * | 2007-03-28 | 2008-10-09 | Khs Ag | Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen |
US9434591B2 (en) | 2007-03-28 | 2016-09-06 | Khs Gmbh | Method for the monitoring, control and optimization of filling equipment for foods and beverages, such as, for beverage bottles |
EP2053868A1 (de) * | 2007-10-26 | 2009-04-29 | Sick Ag | Ortsauflösender optoelektronischer Sensor mit Testeinheit und Testverfahren hierfür |
US7995192B2 (en) | 2008-01-28 | 2011-08-09 | Sick Ag | Safety system for contactless measurement of paths and/or speeds |
EP2083209A1 (de) * | 2008-01-28 | 2009-07-29 | Sick Ag | Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten |
DE102009050850A1 (de) * | 2009-10-19 | 2011-04-21 | Daimler Ag | Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen |
DE102009050850B4 (de) | 2009-10-19 | 2019-01-03 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen |
DE102010036852C5 (de) | 2010-08-05 | 2018-03-22 | Sick Ag | Stereokamera |
DE102010054626A1 (de) | 2010-12-16 | 2011-07-28 | Daimler AG, 70327 | Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches eines Verkehrsmittels zur Beförderung von Personen |
US9592764B2 (en) | 2011-05-11 | 2017-03-14 | Conti Temic Microelectronic Gmbh | Redundant object detection for driver assistance systems |
DE102011101246A1 (de) * | 2011-05-11 | 2012-11-15 | Conti Temic Microelectronic Gmbh | Redudante objektdetektion für fahrerassistenzsysteme |
ITRN20120036A1 (it) * | 2012-07-09 | 2014-01-10 | Wide Automation S R L | Sistema e procedimento di supervisione |
EP2685150B1 (de) | 2012-07-09 | 2015-07-08 | Wide Automation S.r.l. | Überwachungssystem und Verfahren |
EP2685150A1 (de) * | 2012-07-09 | 2014-01-15 | Wide Automation S.r.l. | Überwachungssystem und Verfahren |
DE102014226691A1 (de) * | 2014-12-19 | 2016-06-23 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zur Überwachung eines Koordinatenmessgeräts |
DE102015225587A1 (de) * | 2015-12-17 | 2017-06-22 | Volkswagen Aktiengesellschaft | Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit |
CN108693514A (zh) * | 2017-04-07 | 2018-10-23 | 发那科株式会社 | 对距离图像的异常进行检测的拍摄装置 |
US10469823B2 (en) | 2017-04-07 | 2019-11-05 | Fanuc Corporation | Image apparatus for detecting abnormality of distance image |
DE102019123581A1 (de) * | 2019-09-03 | 2021-03-04 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zur Ausführung einer Sicherheitsfunktion |
EP3789832A1 (de) | 2019-09-03 | 2021-03-10 | Pilz GmbH & Co. KG | Vorrichtung und verfahren zur ausführung einer sicherheitsfunktion |
US11566750B2 (en) | 2019-09-03 | 2023-01-31 | Pilz Gmbh & Co. Kg | Apparatus and method for executing a safety function |
DE102020112699A1 (de) | 2020-05-11 | 2021-11-11 | Sick Ag | Sicherheitssystem |
US11674641B2 (en) | 2020-05-11 | 2023-06-13 | Sick Ag | Safety system |
DE102020112699B4 (de) | 2020-05-11 | 2024-10-10 | Sick Ag | Sicherheitssystem |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1543270B1 (de) | Verfahren und vorrichtung zum absichern eines gefahrenbereichs | |
DE10245720A1 (de) | Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs | |
EP2095008B1 (de) | Verfahren und vorrichtung zum überwachen eines dreidimensionalen raumbereichs | |
EP3011225B1 (de) | Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine | |
EP1418380B1 (de) | Verfahren und Vorrichtung zur Überwachung eines Erfassungsbereiches | |
DE10224031B3 (de) | Vorrichtung zur Überwachung eines Erfassungsbereiches an einem Arbeitsmittel | |
DE10000287B4 (de) | Vorrichtung und Verfahren zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel | |
EP2825812B1 (de) | Verfahren und vorrichtung zum absichern eines gefährlichen arbeitsbereichs einer automatisiert arbeitenden maschine | |
DE102009031732B3 (de) | Entfernungsmessender optoelektronischer Sensor | |
EP1586805B1 (de) | Verfahren zur Überwachung eines Überwachungsbereichs | |
EP2025991B1 (de) | Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren | |
EP3611422B1 (de) | Sensoranordnung und verfahren zum absichern eines überwachungsbereichs | |
WO2019081135A1 (de) | Überwachungsvorrichtung, industrieanlage, verfahren zur überwachung sowie computerprogramm | |
EP3578319A1 (de) | Verfahren zum absichern einer gefahrenstelle | |
DE102004043515A1 (de) | Verfahren und Vorrichtung zum Erfassen eines Objekts | |
DE10327388B4 (de) | Schutzeinrichtung | |
EP4102252A1 (de) | Sichere überwachung eines schutzbereichs mittels einer tof-kamera | |
EP3893145B1 (de) | Absicherung einer gefahrenstelle | |
DE10138960A1 (de) | Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs | |
EP3599411A1 (de) | Einrichtung und verfahren zum erzeugen und überwachen eines sicherheitsbereiches in einem arbeitsraum | |
DE102009050850B4 (de) | Verfahren und Vorrichtung zum Überwachen von Schutz- und Standardbereichen | |
DE102017004030A1 (de) | Verfahren und Vorrichtung zum Sichern eines Arbeitsraums | |
AT15136U1 (de) | Monitoring System | |
DE202015102019U1 (de) | Kamera zur Aufnahme von Bildern eines Erfassungsbereichs | |
EP3855735A1 (de) | Absichern einer maschine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE Owner name: PILZ GMBH & CO. KG, 73760 OSTFILDERN, DE |
|
8127 | New person/name/address of the applicant |
Owner name: PILZ GMBH & CO. KG, 73760 OSTFILDERN, DE Owner name: DAIMLER AG, 70327 STUTTGART, DE |
|
R082 | Change of representative |
Representative=s name: WITTE, WELLER & PARTNER, DE |
|
R081 | Change of applicant/patentee |
Owner name: PILZ GMBH & CO. KG, DE Free format text: FORMER OWNER: DAIMLER AG, PILZ GMBH & CO. KG, , DE Effective date: 20130204 Owner name: PILZ GMBH & CO. KG, DE Free format text: FORMER OWNERS: DAIMLER AG, 70327 STUTTGART, DE; PILZ GMBH & CO. KG, 73760 OSTFILDERN, DE Effective date: 20130204 |
|
R082 | Change of representative |
Representative=s name: WITTE, WELLER & PARTNER, DE Effective date: 20130204 Representative=s name: WITTE, WELLER & PARTNER PATENTANWAELTE MBB, DE Effective date: 20130204 |
|
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R006 | Appeal filed | ||
R008 | Case pending at federal patent court | ||
R003 | Refusal decision now final | ||
R011 | All appeals rejected, refused or otherwise settled |