DE102011111392A1 - System zur Fehlervermeidung bei manuellen Montagevorgängen unter Verwendung von maschinellem Sehen - Google Patents

System zur Fehlervermeidung bei manuellen Montagevorgängen unter Verwendung von maschinellem Sehen Download PDF

Info

Publication number
DE102011111392A1
DE102011111392A1 DE102011111392A DE102011111392A DE102011111392A1 DE 102011111392 A1 DE102011111392 A1 DE 102011111392A1 DE 102011111392 A DE102011111392 A DE 102011111392A DE 102011111392 A DE102011111392 A DE 102011111392A DE 102011111392 A1 DE102011111392 A1 DE 102011111392A1
Authority
DE
Germany
Prior art keywords
worker
light
containers
rack
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102011111392A
Other languages
English (en)
Inventor
Charles W. Wampler II
James W. Wells
Roland J. Menassa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102011111392A1 publication Critical patent/DE102011111392A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Automatic Assembly (AREA)
  • General Factory Administration (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Fehlerdetektionssichtsystem, das feststellt, ob ein korrektes Teil aus einer Vorlagevorrichtung während eines Montageprozesses ausgewählt wurde. In einer Ausführungsform ist die Vorlagevorrichtung ein Gestell mit mehreren Behältern, wobei die Behälter mehrere verschiedene Teile halten. Das Sichtsystem umfasst eine oder mehrere Projektionsvorrichtungen, die einen Lichtstrahl in Richtung der Vorlagevorrichtung projizieren, und einen Detektor wie z. B. eine Kamera, der Reflexionen von einem Arbeiter empfängt, wenn er Teile aus der Vorlagevorrichtung auswählt. Das Fehlerdetektionssichtsystem kann verschiedene Detektionsprozesse verwenden, wie z. B. ein Stereopaar von Videokameras, Sehen unter Verwendung von Triangulation mit strukturiertem Licht und Infrarotlaufzeit-Abstandsmessungen.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Diese Erfindung bezieht sich im Allgemeinen auf ein Erfassungssystem unter Verwendung von Sichttechnologien und insbesondere auf ein Fehlerdetektionssystem, das dreidimensionales maschinelles Echtzeitsehen, wie z. B. Stereosehen, Sehen unter Verwendung von Triangulation mit strukturiertem Licht oder Infrarotlaufzeit-Abstandsmessungen, zum Feststellen, ob ein Arbeiter ein korrektes Teil aus einer Vorlagevorrichtung wie z. B. einem Gestell mit mehreren Behältern während eines Montageprozesses ausgewählt hat, verwendet.
  • 2. Erörterung des Standes der Technik
  • Für bestimmte automatisierte Montageprozesse wie z. B. verschiedene Fahrzeugmontageprozesse muss ein Arbeiter Teile aus einem Gestell, einem Behälter oder einer anderen Vorlagevorrichtung auswählen. Bei vielen Gelegenheiten kann ein Gestell mehrere Behälter umfassen, die mehrere verschiedene Teile halten, aus denen der Arbeiter auswählen muss. In einem Prozess zum Montieren einer Sicherheitsgurtanordnung in einem Fahrzeug können beispielsweise die Sicherheitsgurte und die Sicherheitsgurtaufrollvorrichtungen in Gestellen mit mehreren Behältern gehalten werden, wobei jeder Behälter eine spezielle Aufrollvorrichtungs- oder Sicherheitsgurtfarbe für ein spezielles Fahrzeug enthält. Der Arbeiter muss das korrekte Teil aus dem Behälter auswählen, so dass es genau am Fahrzeug angeordnet wird, Ein falsch ausgewähltes und montiertes Teil kann ein kritisches Teil sein und kann einen Fahrzeugrückruf infolge des falsch montierten Teils erfordern.
  • Auf dem Fachgebiet ist es bekannt, elektronisch festzustellen, dass ein korrektes Teil für einen speziellen Montageprozess installiert wurde, und den Arbeiter zu warnen, wenn ein falsches Teil ausgewählt wurde, so dass dieses durch das korrekte Teil ersetzt werden kann. In einem derzeit bekannten Prozess werden die verschiedenen Teile in Behälter gelegt, die in bestimmten Bereichen eines Gestells angeordnet sind. Lichtsensoren sind an einer Öffnung in jeden Behälter angeordnet, wobei ein Lichtstrahl unterbrochen wird, wenn der Fahrzeugarbeiter seine Hand in den Behälter legt, um das Teil herauszuholen. Ein Verarbeitungssystem bestimmt, welches Sensorlicht ausgelöst wurde, und stellt fest, ob das diesem Behälter zugeordnete Teil das korrekte für das Fahrzeug ist, das gegenwärtig am Montageort detektiert wird. Ein Signallicht kann als Anzeige dessen vorgesehen werden, ob der Arbeiter das korrekte Teil ausgewählt hat, wie z. B. ein grünes Licht, oder ob der Arbeiter das falsche Teil ausgewählt hat, wie z. B. ein rotes Licht. Außerdem kann ein Licht enthalten sein, das eine visuelle Anzeige für den Fahrzeugarbeiter schafft, aus welchem Behälter das Teil auszuwählen ist.
  • Das vorstehend beschriebene bekannte System zum Feststellen, ob ein Arbeiter während eines Montageprozesses das korrekte Teil ausgewählt hat, hat eine Anzahl von Nachteilen. Das System ist beispielsweise ziemlich komplex und ist mit dem Gestell und dem Fahrzeugmontageort festverdrahtet. Folglich ist eine Anzahl von Drähten für das Erfassungssystem im Arbeitsbereich und für den Ort, an dem das Fahrzeug montiert wird, vorgesehen. Diese Drähte und andere Vorrichtungen sind Hindernisse für den Arbeiter und es erfordert eine signifikante Menge an Arbeit, um das Erfassungssystem zu demontieren und erneut zu montieren, wenn es von einem Ort zu einem anderen Ort bewegt wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß den Lehren der vorliegenden Erfindung wird ein Fehlerdetektionssichtsystem offenbart, das feststellt, ob ein korrektes Teil von einer Vorlagevorrichtung während eines Montageprozesses ausgewählt wurde. In einer Ausführungsform ist die Vorlagevorrichtung ein Gestell mit mehreren Behältern, wobei die Behälter mehrere verschiedene Teile halten. Das Sichtsystem umfasst eine oder mehrere Projektionsvorrichtungen, die einen Lichtstrahl in Richtung der Vorlagevorrichtung projizieren, und einen Detektor wie z. B. eine Kamera, die Reflexionen von einem Arbeiter empfängt, wenn er Teile aus der Vorlagevorrichtung auswählt. Das Fehlerdetektionssichtsystem kann verschiedene Detektionsprozesse verwenden, wie z. B. ein Stereopaar von Videokameras, Sehen unter Verwendung von Triangulation mit strukturiertem Licht und Infrarotlaufzeit-Abstandsmessungen.
  • Zusätzliche Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen ersichtlich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine Draufsicht eines Fehlerdetektionssichtsystems für einen Montageprozess, das ein Stereopaar von Videokameras verwendet, gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 2 ist eine Draufsicht eines Fehlerdetektionssichtsystems für einen Montageprozess, das eine Konfiguration mit strukturiertem Licht verwendet, gemäß einer anderen Ausführungsform der vorliegenden Erfindung; und
  • 3 ist eine Draufsicht eines Fehlerdetektionssichtsystems für einen Montageprozess, das eine Laufzeitkonfiguration verwendet, gemäß einer anderen Ausführungsform der vorliegenden Erfindung.
  • AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Erörterung der Ausführungsformen der Erfindung, die sich auf ein Fehlerdetektionssichtsystem zum Feststellen, ob ein korrektes Teil zur Installation an einer Anordnung ausgewählt wurde, richtet, ist dem Wesen nach lediglich beispielhaft und soll keineswegs die Erfindung oder ihre Anwendungen oder Verwendungen begrenzen. Die vorliegende Erfindung hat beispielsweise spezielle Anwendung für eine Fahrzeugmontagelinie. Wie für den Fachmann auf dem Gebiet erkennbar ist, hat jedoch das Erfassungssystem der Erfindung Anwendung für andere Montageprozesse.
  • Die vorgeschlagene Erfindung umfasst ein Erfassungssystem, das dreidimensionales maschinelles Echtzeitsehen unter Verwendung von einem oder mehreren von Stereosehen, Sehen unter Verwendung von Triangulation mit strukturiertem Licht und Infrarotlaufzeit-Abstandsmessungen verwendet, um zu detektieren, von welchem von mehreren Orten ein Arbeiter ein Teil ausgewählt hat. Die Erfindung kann auch eine Teilehaltevorrichtung, ein Anzeigeuntersystem, um dem Arbeiter anzuzeigen, welches Teil ausgesucht werden sollte, und eine Computersteuereinheit zum Koordinieren der Erfassung und der Anzeige mit dem Fortschritt von Werkstücken durch die Montagestation und zum Kommunizieren mit anderen Montagelinien-Steuervorrichtungen umfassen, um korrekte Handlungen aufzuzeichnen oder Fehler zu kennzeichnen.
  • Die vorliegende Erfindung umfasst auch ein Verfahren zur Verwendung der Steuereinheit und des Erfassungssystems, um schnell den Zusammenhang zwischen Orten im Gestell und der Identität von Teilen zu lernen. Dies macht es einfach, das System so einzusetzen, dass es mit einer breiten Vielfalt von Gestellen und einer Vielfalt von Anordnungen von Teilen im Gestell arbeitet.
  • In der nachstehenden Erörterung bezieht sich der Begriff ”Teileaufnahmezone” auf das Volumen direkt vor einem Teil in oder an einem Vorlagegestell oder ein Volumen, durch das der Arbeiter langen muss, um ein Teil aus einem Behälter oder dergleichen zu entnehmen. Bei der Anwendung der Erfindung werden mehrere derartige Zonen definiert und ein Teil, das in jeder Zone verfügbar ist, wird dem Erfassungssystem bekannt gemacht.
  • Die vorliegende Erfindung schlägt drei Methoden vor, um zu erfassen, welches Teil ein Arbeiter aus einer Teilevorlagevorrichtung wie z. B. einem Gestell auswählt. Bei der ersten Methode ist ein Stereopaar von Videokameras vorgesehen, so dass das Stereoblickfeld das ganze Gestell und ein Annäherungsvolumen vor dem Gestell abdeckt. Unter Verwendung von bekannten Techniken für maschinelles Stereosehen erfasst das System den Ort der Hand des Arbeiters, sobald sie sich innerhalb des Annäherungsvolumens bewegt. Wenn die Hand des Arbeiters in irgendeine von mehreren vordefinierten Zonen eintritt, wird die Absicht des Arbeiters, das in dieser Zone befindliche Teil auszuwählen, aufgezeichnet. Wenn der Arbeiter seine Hand in einen Behälter legt, der nicht das korrekte Teil enthält, warnt das System den Arbeiter durch visuelle oder Hörhinweise auf den Fehler und ebenso kann eine korrekte Auswahl von einem positiven Hinweis begleitet sein. In einer Ausführungsform überwacht das System weiterhin die Hand des Arbeiters, um festzustellen, dass das korrekte Teil aus dem Gestell entnommen wird, oder in dem Fall, in dem sich der Arbeiter zuerst dem falschen Teil nähert, wenn seine Hand die Zone verlassen hat, ohne ein Teil aufzunehmen. Wenn der Arbeiter trotz der Warnung des. Systems dazu übergeht, das falsche Teil aufzunehmen, wird ein Fehler zu Montagelinien-Steuervorrichtungen übertragen, so dass entsprechende Korrekturhandlungen unternommen werden können.
  • 1 ist eine Draufsicht eines Fehlerdetektionssichtsystems 10 des vorstehend erörterten Typs, das ein Stereopaar von Videokameras 12 und 14 verwendet. In dieser Darstellung entnimmt ein Arbeiter 16 Teile von mehreren Behältern 18, die innerhalb eines Gestells 20 angeordnet sind. Der Arbeiter 16 wählt das Teil aus den Behältern 18 aus, das an einem Fahrzeug 22 montiert werden soll, das sich eine Fahrzeugmontagelinie hinab bewegt.
  • Die Kameras 12 und 14 nehmen Videobilder des Arbeitsbereichs um das und vor dem Gestell 20 auf und liefern einen Strom von Bildern zu einem Controller 26. Der Controller 26 verwendet bekannte Stereosichttechniken, wie vorstehend erörtert, um festzustellen, ob der Arbeiter 16 seine Hand in den korrekten Behälter 18 für das spezielle Fahrzeug 22, das detektiert wurde, gelegt hat. Wenn der Arbeiter 16 das korrekte Teil auswählt, dann kann ein spezielles Licht wie z. B. ein grünes Licht 28 an einer Lichtanordnung 30 anzeigen, dass das korrekte Teil ausgewählt wurde. Wenn der Arbeiter 16 seine Hand nicht in den Behälter 18, der das korrekte Teil hält, legt, dann kann ein rotes Licht 32 an der Lichtanordnung 30 beleuchtet werden, um den Arbeiter 16 über den Fehler zu benachrichtigen. Außerdem oder alternativ kann der Controller 26 ein Signal zu einem Lautsprecher 34 senden, der eine hörbare Anzeige einer falschen Teileauswahl gibt.
  • Das System 10 umfasst ferner einen Laser 36, der einen Laserstrahl mit niedriger Intensität auf das Gestell 20 projizieren kann. Ein Signal vom Controller 26 bewirkt, dass der Laser 36 den Strahl auf ein spezielles reflektierendes Stück Band 38 benachbart zu einem speziellen der Behälter 18 richtet, wenn das Fahrzeug 22 auf der Linie detektiert wird, so dass der Arbeiter 16 eine visuelle Anzeige empfangen kann, aus welchem der Behälter 18 er ein Teil auswählen sollte.
  • Die Erfassung der Hand des Arbeiters durch Stereosehen kann in mehreren Weisen bewerkstelligt werden. Wenn beide Kameras 12 und 14 einen gemeinsamen Punkt sehen, wird sein dreidimensionaler Ort leicht durch Standardtriangulationsformeln berechnet. Die Hauptschwierigkeit besteht darin, entsprechende Punkte in den zwei Kamerabildern zu identifizieren und festzustellen, welcher von diesen die Hand des Arbeiters ist. Eine Technik besteht darin, natürlich vorkommende und visuelle Merkmale der Objekte in der Ansicht zu vergleichen, wie z. B. Grenzen zwischen Bereichen mit sich abhebender Helligkeit. Da die von der Kamera betrachtete Szene abgesehen von der Bewegung des Arbeiters 16 statisch ist, mustert das Heranziehen von Differenzen zwischen aufeinander folgenden Kamerabildern die stationären Stördaten aus und hilft folglich die Bewegung (Geschwindigkeit und Position) des Arbeiters 16 zu identifizieren. Diese Technik oder andere Weisen zum Beseitigen der Mehrheit der statischen Szene vor dem Analysieren des Rests der Szene, um die Bewegung des Arbeiters zu detektieren, wird als Hintergrunddezimierungsfilter bezeichnet. Ein solches Filter beschleunigt die Rahmenrate der Stereoabstandsanalyse. Es kann genügen zu überwachen, ob irgendein Abschnitt des Arbeiters 16 in die Teileaufnahmezonen eintritt, aber falls erforderlich, kann eine zusätzliche Verarbeitung verwendet werden, um die Hand des Arbeiters unter Verwendung eines morphologischen Modells ihres Orts am Ende des Arms des Arbeiters zu identifizieren. Höhere Erfolgsraten und schnellere Berechnungen können erhalten werden, wenn spezielle leicht erkannte visuelle Merkmale verwendet werden, wie z. B. unverkennbare Markierungen an einem Handschuh, der vom Arbeiter 16 getragen wird. Ebenso kann der Arbeiter 16 einen Handschuh mit einer unverkennbaren Farbe tragen müssen, so dass eine Farbbildverarbeitung die Hand schnell identifizieren und sie in drei Dimensionen auffinden kann. Dies wäre ein Hintergrunddezimierungsfilter auf der Basis der Ausmusterung aller Farben, die von jener des Handschuhs ausreichend verschieden sind.
  • Eine Alternative zum Stereosehen ist die Verwendung von strukturiertem Licht, um die Hand eines Arbeiters zu detektieren. Eine einfache Version von strukturiertem Licht besteht darin, eine Ebene von sichtbarem oder Infrarotlicht zu projizieren und es mit einer einzelnen Kamera zu überwachen, die außerhalb der Ebene angeordnet ist und in einem Winkel zur Ebene gerichtet ist. Die Kamera erfasst den Lichtstreifen, der auf irgendein Objekt projiziert wird, das die Ebene durchbricht, wodurch festgestellt wird, wo die Ebene durchstoßen wurde. Unter Verwendung von optischen Filter oder dergleichen kann die Kamera für ein schmales Band von Frequenzen um jene des projizierten Lichts empfindlich gemacht werden, wobei somit die Hintergrundszene beseitigt wird. Mehrere Ebenen von Licht ergeben ein dreidimensionales Bild eines Objekts als Sammlung von planaren Scheiben. Alternativ ergeben zwei lineare Anordnungen von Sensoren, die in der Ebene angeordnet sind, den Ort eines Objekts in der Ebene durch zweidimensionale Stereotriangulation.
  • 2 ist eine perspektivische Ansicht eines Fehlerdetektionssichtsystems 50 des vorstehend erörterten Typs unter Verwendung von strukturiertem Licht gemäß einer anderen Ausführungsform der vorliegenden Erfindung. Das System 50 umfasst eine Lichtquelle 52, die einen planaren Lichtstrahl 54 vor einem Gestell 56 projiziert. Das Gestell 56 umfasst mehrere Behälter 58, wobei jeder Behälter 58 ein anderes Teil hält. Wenn ein Arbeiter 60 seine Hand in einen der Behälter 58 einführt und den planaren Lichtstrahl 54 durchbricht, detektiert eine Kamera 62 den Ort der Hand des Arbeiters durch eine Reflexion von Licht am Arm des Arbeiters, was folglich ermöglicht, dass die Kamera 62 den Ort der Hand des Arbeiters detektiert. Aus der Reflexion des Lichtstreifens am Arm des Arbeiters kann ein Controller 66 eine Triangulation verwenden, um den Ort des Arms des Arbeiters und daher, wo die Lichtebene 54 durchbrochen wurde, zu identifizieren. Folglich kann das System 50 überprüfen, ob der Arbeiter 60 seine Hand in den korrekten Behälter 38 gelegt hat, um das korrekte Teil auszuwählen. Die Behälter 38 können auch in einer vertikalen Richtung aufeinander gestapelt sein.
  • Das System 50 umfasst auch eine Lichtanordnung 64, die ein rotes Licht und ein grünes Licht zum Anzeigen, dass das korrekte Teil ausgewählt wurde, wie vorstehend erörtert, umfasst. Ferner kann das Gestell 56 reflektierende Streifen umfassen wie z. B. die Streifen 38, die nahe jedem Behälter 58 angeordnet sind, und das System 50 kann einen Projektor wie z. B. den Laser 36 umfassen, um eine Reflexion vom reflektierenden Band vorzusehen, um für den Arbeiter 60 den korrekten Behälter zu identifizieren.
  • Die Technologie, die ermöglicht, dass das System 50 weiß, wo in der Lichtebene 54 die Hand des Arbeiters eingeführt wird, ist in der Technologie einer virtuellen Tastatur zu finden, wie z. B. von Lumio, Inc. Lumio hat eine virtuelle Tastatur entwickelt, die an einer Schnittstellenoberfläche wie z. B. einem Tisch angeordnet wird und eine Laserdiode zum Projizieren eines Musters der Tastatur auf die Oberfläche umfasst. Eine Vorlage wie z. B. eine Tastatur wird durch Beleuchten eines speziell entworfenen, sehr effizienten holographischen optischen Elements mit einem roten Diodenlaser erzeugt. Die Vorlage dient nur als Referenz für den Benutzer und ist nicht am Detektionsprozess beteiligt. In einer festen Umgebung kann die Vorlage auf die Schnittstellenoberfläche gedruckt sein.
  • Eine Infrarotlaserdiode projiziert eine Ebene einer Infrarotbeleuchtung parallel zur Schnittstellenoberfläche direkt über der Vorlage. Das Licht ist für den Benutzer unsichtbar und schwebt einige Millimeter über der Oberfläche. Wenn der Finger einer Person den planaren Lichtstrahl durchbricht, wird eine Reflexion von den Finger des Arbeiters durch eine Kamera detektiert. Ein Sensormodul liefert eine Angabe dessen, welcher Tastenanschlag in der projizierten Vorlage gedrückt wird, relativ zu dem Ort, an dem die Lichtebene durchbrochen wurde. Mit anderen Worten, wenn der Benutzer eine Tastenposition der Schnittstellenoberfläche berührt, wird Licht von dieser Ebene in der Nähe der Tastenposition reflektiert und auf das Sensormodul gerichtet.
  • Reflektiertes Licht von den Wechselwirkungen mit der Schnittstellenoberfläche wird durch ein Infrarotfilter geleitet und auf einen CMOS-Bildsensor im Sensormodul abgebildet. Eine maßgeschneiderte Hardware, die in das Sensormodul eingebettet ist, wie z. B. der Verarbeitungskern der virtuellen Schnittstelle, führt eine Echtzeitbestimmung des Orts des reflektierten Lichts durch. Ein Mikrocontroller im Sensormodul empfängt die Positionsinformationen, die den Lichtblitzen entsprechen, vom Sensorverarbeitungskern, interpretiert die Ereignisse und überträgt sie durch eine geeignete Schnittstelle zu externen Vorrichtungen. Der Verarbeitungskern kann mehrere Reflexionsereignisse gleichzeitig nachführen und kann sowohl mehrere Tastenanschläge als auch überlappende Cursorsteuereingaben unterstützen.
  • Eine dritte Alternative für ein dreidimensionales Fehlerdetektionssichtsystem besteht darin, die Laufzeit von der Emission eines kurzen Impulses von IR-Licht bis zum Empfang seiner Reflexion von der Szene zu bestimmen. Dies kann verwendet werden, um ein Echtzeitentfernungsbild zu konstruieren, das detektieren kann, wenn ein Objekt in eine Teileaufnahmezone eintritt oder diese verlässt. Um die Auflösung zu erhöhen, kann das Entfernungsbild, das in derzeitigen Produkten auf 160 × 124 Pixel begrenzt ist, mit dem Bild von einer herkömmlichen Kamera kombiniert werden. Ein Laufzeitentfernungsmesser kann als Hintergrunddezimierungsfilter für ein Stereosichtsystem mit höherer Auflösung verwendet werden.
  • 3 ist eine Draufsicht eines Fehlerdetektionssichtsystems 70, das Laufzeitemissionsimpulse verwendet, um einen Ort zu detektieren, von dem ein Arbeiter ein Teil auswählt, gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Die Elemente im System 70, die dieselben wie die Elemente des Systems 10 sind, sind mit demselben Bezugszeichen identifiziert. Das System 70 umfasst einen Infrarotlaser 72, der Infrarotlichtstrahlimpulse in Richtung der Behälter 18 emittiert, und Reflexionen der Lichtstrahlimpulse werden von einem Detektor 74 empfangen. Auf der Basis der Zeit, die es dauert, bis die Lichtstrahlimpulse vom Laser 72 emittiert werden und vom Detektor 74 empfangen werden, bestimmt den Ort der Hand des Arbeiters, um zu wissen, aus welchem Behälter 18 der Arbeiter 16 ein Teil ausgewählt hat. Ein Controller 76 steuert die Emission von Impulsen vom Laser 72 und die vom Detektor 74 empfangenen Bilder und kann einen Laufzeitentfernungsmesser umfassen, der als Dezimierungsfilter verwendet wird.
  • Für den Fachmann auf dem Gebiet ist erkennbar, dass ein dreidimensionales Stereosichtsystem das Aussuchen von Teilen von einem Sortiment von Behältern irgendwo im sichtbaren Volumen überwachen kann. Ein System unter Verwendung von strukturiertem Licht, das in eine einzelne Ebene projiziert wird, ist hauptsächlich für Gestelle oder Behälter, die in. einer nahen planaren Konfiguration gestapelt sind, besser geeignet.
  • Die Funktion des Anzeigeuntersystems der Erfindung besteht hauptsächlich darin, dem Arbeiter zu zeigen, welches Teil aufzunehmen ist, obwohl es außerdem andere nützliche Informationen anzeigen kann, wie z. B. den Status der Montage in einer mehrstufigen Montagesequenz oder als Teil der interaktiven Einrichtung des Fehlervermeidungssystems. Es ist erwünscht, festverdrahtete Indikatorlichter zu vermeiden. Einer der Hauptvorteile des Gesamtsystems ist die Flexibilität mit einer entfernten Erfassungs- und Anzeigefähigkeit ohne irgendwelche physikalischen Verbindungen mit den Behältern. Dies ermöglicht, dass die Behälter leicht verlagert werden, um den Montageprozess auf Ergonomie oder auf einen Arbeitslastausgleich zwischen Montagestationen einzustellen. Um eine mit diesem Ziel kompatible Anzeige zu schaffen, verwendet das Fehlerdetektionssichtsystem einen Projektor, um sichtbares Licht entweder auf das Teil selbst oder auf ein Ziel benachbart zum Teil zu strahlen. Die Reflexionseigenschaften eines solches Ziels können gewählt werden, um die Wirksamkeit des Indikators zu verbessern. Mehrere Universalanzeigetechnologien, die auf dem Markt erhältlich sind, sind für diese Anwendung geeignet, einschließlich DLP-Projektoren und Laserprojektoren. Diese können mit einem Computer vom PC-Typ über eine Schnittstelle gekoppelt werden, um nicht nur Indikatorlichtmarkiezungen zu projizieren, sondern auch Informationstext oder Bilder auf einen Zielbildschirm, der benachbart zum Gestell von Teilen angeordnet ist, zu projizieren. Ein einfacher Laserprojektor, der für die Indikatorfunktion genügt, kann unter Verwendung einer kostengünstigen Laserdiode (wie z. B. üblicherweise in Laserpointern verwendet) in einem kleinen Schwenk/Neigungs-Spiegel konstruiert werden.
  • Die vorliegende Erfindung kann ein Verfahren zum leichten Definieren der Teileaufnahmezonen umfassen. Ein Verfahren ist für den Fall anwendbar, in dem Teile in Behältern mit klaren visuellen Markierungen verlagert werden. Das Kamerasystem könnte dann sowohl die Orte der Behälter als auch ihre Inhalte durch maschinelles Sehen automatisch identifizieren. Wenn dies fehlt, können die Identitäten der Teile festgestellt werden, indem das System in einen Trainingsmodus gesetzt wird und Handgesten verwendet werden, um den Behälterort zu umreißen, wonach das zugehörige Teil durch irgendeine geeignete Computerschnittstellentechnologie eingegeben werden kann, wie z. B. Tippen auf der Tastatur, Auswählen aus einer Liste von Teilen durch eine Maus oder eine andere Zeigevorrichtung, Verwenden eines Strichcodelesers oder eine RFID-Lesers usw. Die Teileaufnahmezonen könnten auch durch Anzeigen des Kamerabildes des Gestells auf einem Computerbildschirm und Klicken auf das Bild mit einer graphischen Schnittstelle auf der Basis einer Maus oder einer anderen Zeigevorrichtung identifiziert werden. Da eine solche Funktionsweise nur erforderlich ist, wenn das Fehlerdetektionssystem eingerichtet wird, könnten solche Anzeigen und Schnittstellenvorrichtungen nur mit dem System während des Trainings verbunden werden. Selbstverständlich könnte diese Verbindung durch irgendeine von einer Anzahl von existierenden verdrahteten oder drahtlosen Technologien durchgeführt werden, wie z. B. Standard-PC-Anschlüsse, drahtloses Bluetooth usw., und könnte durch eine Verbindung mit einem Laptop oder Tablet-PC anstelle von individuellen PC-Zubehörvorrichtungen geschaffen werden. Eine Konnektivität auf Web-Basis könnte auch verwendet werden.
  • Es ist beabsichtigt, dass die Kamera, die Projektions- und die Verarbeitungselemente der Erfindung in ein kompaktes und kostengünstiges Modul gepackt werden. Dieses Modul könnte an jeder Montagestation in einer Weise angebracht werden, dass es die Bewegung des Arbeiters oder die flexible Verlagerung von Behältern und Teilen nicht behindert. Das Modul koppelt über eine Schnittstelle mit einem Hauptfehlervermeidungssystem über ein Vorrichtungsnetz, wobei der Modulstatus über eine Matrix von binären Bits für ein anspruchsvolleres Nachrichtennetz übermittelt wird. Die Nachrichtenübermittlungsschnittstelle könnte mit einem Fehlervermeidungsserver, der eine Teilezuweisungsmatrix enthält, die auf die Stationsnummer, die Arten und Optionen, die in dieser Station verarbeitet werden, und die Teilenummern, die diesen Arten zugeordnet sind, Bezug nehmen würde, zusammenwirken. Eine Standardlogik würde grundlegende Fehlervermeidungssystemoperationen und die Linienstatusbenachrichtigung mit Modulnetznachrichten, die einen Zweiwegstatus der Modulbestätigung des Teils, das ausgesucht wird, auf der Basis der Anforderungen der Montage am Fahrzeug in der Station übertragen, steuern. Die Modulprogrammierfunktion liefert Nachrichten zum Server, der diese Teilezuweisungsmatrix für diese Modulstation aktualisiert, was einen intuitiven Zusammenhang mit Teilen und Behältern schafft. Diese Fähigkeit erhöht die Flexibilität des Systems erheblich, da eine Umprogrammierung des Fehlervermeidungssystems automatisch stattfindet, wenn Teile und Behälter bewegt werden, um den Prozess einzurichten oder zu optimieren.
  • Die vorangehende Erörterung offenbart und beschreibt lediglich beispielhafte Ausführungsformen der vorliegenden Erfindung. Ein Fachmann auf dem Gebiet erkennt aus einer solchen Erörterung und aus den begleitenden Zeichnungen und Ansprüchen leicht, dass verschiedene Änderungen, Modifikationen und Veränderungen darin vorgenommen werden können, ohne vom Gedanken und Schutzbereich der Erfindung, wie in den folgenden Ansprüchen definiert, abzuweichen.

Claims (9)

  1. System zum Feststellen, ob ein korrektes Teil ausgewählt wird, wobei das System umfasst: ein Gestell, das mehrere Behälter hält; eine Lichtquelle zum Projizieren einer Lichtebene vor dem Gestell; einen Detektor zum Detektieren von Positionen, in denen die Lichtebene durch ein Objekt durchbrochen wird; und einen Controller, der dazu konfiguriert ist, festzustellen, ob die detektierte Position eine gewünschte Position ist.
  2. System nach Anspruch 1, wobei die Lichtebene sichtbares Licht oder Infrarotlicht ist.
  3. System nach Anspruch 1, wobei der Controller eine Triangulation verwendet, um den Ort zu bestimmen, an dem die Lichtebene durchbrochen wurde.
  4. System nach Anspruch 1, wobei das System feststellt, ob ein Arbeiter ein korrektes Teil aus einem der Behälter ausgewählt hat, wobei das Objekt, das vom Detektor detektiert wird, ein Arm oder eine Hand des Arbeiters ist.
  5. System nach Anspruch 4, das ferner eine Lichtanordnung mit mehreren Lichtern zum Vorsehen einer visuellen Anzeige für den Arbeiter, dass das korrekte Teil ausgewählt wurde oder nicht ausgewählt wurde, umfasst.
  6. System nach Anspruch 4, das ferner einen Lautsprecher zum Vorsehen einer hörbaren Anzeige, dass der Arbeiter nicht das korrekte Teil ausgewählt hat, umfasst.
  7. System nach Anspruch 1, wobei der Detektor eine Kamera ist.
  8. System nach Anspruch 1, wobei das Teil ein Fahrzeugteil ist, das an einem Fahrzeug auf einer Montagelinie montiert wird.
  9. Fehlerdetektionssystem mit maschinellem Sehen zum drahtlosen Feststellen, ob ein Arbeiter ein zu montierendes korrektes Teil ausgewählt hat, wobei das System umfasst: ein Gestell, das mehrere Behälter hält, wobei die Behälter mehrere verschiedene Teile halten; und ein Untersystem für maschinelles Sehen zum Projizieren eines Lichtstrahls in Richtung des Gestells und Empfangen von Lichtreflexionssignalen vom Gestell, die angeben, aus welchem Behälter der Arbeiter ein Teil ausgewählt hat.
DE102011111392A 2010-09-10 2011-08-23 System zur Fehlervermeidung bei manuellen Montagevorgängen unter Verwendung von maschinellem Sehen Ceased DE102011111392A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/879,656 US20120062725A1 (en) 2010-09-10 2010-09-10 System for error-proofing manual assembly operations using machine vision
US12/879,656 2010-09-10

Publications (1)

Publication Number Publication Date
DE102011111392A1 true DE102011111392A1 (de) 2012-03-15

Family

ID=45756325

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011111392A Ceased DE102011111392A1 (de) 2010-09-10 2011-08-23 System zur Fehlervermeidung bei manuellen Montagevorgängen unter Verwendung von maschinellem Sehen

Country Status (3)

Country Link
US (1) US20120062725A1 (de)
JP (1) JP5552098B2 (de)
DE (1) DE102011111392A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020100153A1 (de) * 2020-01-07 2021-07-08 Eq-3 Holding Gmbh Verfahren und Lagerfacheinrichtung zur Erkennung von Eingriffen in ein Lagerfach

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
US9143843B2 (en) 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US9189949B2 (en) * 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
US9011607B2 (en) 2010-10-07 2015-04-21 Sealed Air Corporation (Us) Automated monitoring and control of cleaning in a production area
JP5887526B2 (ja) * 2011-07-19 2016-03-16 パナソニックIpマネジメント株式会社 作業検知システム
FR2992875B1 (fr) * 2012-07-05 2015-06-19 Schneider Electric Ind Sas Dispositif autonome employe dans un systeme d'aide a l'assemblage d'un produit
ES2443265B1 (es) * 2012-08-16 2014-11-13 Eads Construcciones Aeronauticas, S.A. Banco de fabricación o verificación de mazos eléctricos
JP6016268B2 (ja) * 2012-12-20 2016-10-26 Kddi株式会社 フィールド作業支援装置、方法及びプログラム
TWI499879B (zh) 2012-12-21 2015-09-11 Ind Tech Res Inst 工序分析監控系統及其方法
US9880694B2 (en) 2013-05-09 2018-01-30 The Boeing Company Shop order status visualization system
US10061481B2 (en) 2013-02-28 2018-08-28 The Boeing Company Methods and devices for visually querying an aircraft based on an area of an image
US9870444B2 (en) 2013-03-05 2018-01-16 The Boeing Company Shop order status visualization system
US10481768B2 (en) 2013-04-12 2019-11-19 The Boeing Company Nonconformance identification and visualization system and method
US9492900B2 (en) * 2013-03-15 2016-11-15 The Boeing Company Condition of assembly visualization system based on build cycles
US9612725B1 (en) 2013-02-28 2017-04-04 The Boeing Company Nonconformance visualization system
US9340304B2 (en) 2013-02-28 2016-05-17 The Boeing Company Aircraft comparison system
US11002854B2 (en) 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US10712529B2 (en) 2013-03-13 2020-07-14 Cognex Corporation Lens assembly with integrated feedback loop for focus adjustment
US20140298216A1 (en) 2013-03-28 2014-10-02 The Boeing Company Visualization of an Object Using a Visual Query System
US10416857B2 (en) 2013-05-09 2019-09-17 The Boeing Company Serial number control visualization system
JP2015089586A (ja) * 2013-11-05 2015-05-11 小島プレス工業株式会社 作業順守支援装置
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
DE102014203384A1 (de) * 2014-02-25 2015-08-27 Ifm Electronic Gmbh Verfahren zur Überwachung eines Montagevorgangs
JP6399437B2 (ja) * 2014-06-04 2018-10-03 パナソニックIpマネジメント株式会社 制御装置及びそれを用いた作業管理システム
DE102015226164A1 (de) * 2015-12-21 2017-06-22 Robert Bosch Gmbh System und Verfahren zum Erfassen mindestens einer Ersatzkomponente einer Vorrichtung
DE102016202581A1 (de) * 2016-02-19 2017-08-24 Ifm Electronic Gmbh Verfahren zur Überwachung eines Montagevorgangs
US10685147B2 (en) 2016-02-29 2020-06-16 The Boeing Company Non-conformance mapping and visualization
DE102016206529A1 (de) * 2016-04-19 2017-10-19 Robert Bosch Gmbh Montagearbeitsplatz mit Positionsbestimmungsvorrichtung
JP7066976B2 (ja) * 2017-03-16 2022-05-16 株式会社デンソーウェーブ 作業支援装置、作業支援プログラム
IT201700085336A1 (it) * 2017-07-26 2019-01-26 Comau Spa "Dispositivo programmabile di assistenza ad un operatore in un ambiente di produzione"
WO2019186202A1 (en) * 2018-03-29 2019-10-03 Salunda Limited Personnel safety sensing system
US10699419B2 (en) * 2018-09-10 2020-06-30 Siemens Aktiengesellschaft Tracking and traceability of parts of a product
JP7139989B2 (ja) * 2019-02-14 2022-09-21 株式会社デンソーウェーブ 作業支援装置及び作業支援プログラム
US11107236B2 (en) 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
GB2584439B (en) * 2019-06-03 2023-02-22 Inspecvision Ltd Projector assembly system and method
US20240124232A1 (en) * 2019-09-13 2024-04-18 Lyft, Inc. Efficient service rack system
CN111240281A (zh) * 2019-12-31 2020-06-05 清研讯科(北京)科技有限公司 一种生产控制方法和系统
CN111221305A (zh) * 2019-12-31 2020-06-02 清研讯科(北京)科技有限公司 一种生产控制方法、移动终端和系统
EP3929894A1 (de) 2020-06-24 2021-12-29 Universitatea Lician Blaga Sibiu Trainingsstation und verfahren zur anweisung und schulung für aufgaben, die manuelle operationen erfordern
US11348355B1 (en) 2020-12-11 2022-05-31 Ford Global Technologies, Llc Method and system for monitoring manufacturing operations using computer vision for human performed tasks
MX2024000005A (es) * 2021-07-02 2024-05-20 Banner Eng Dispositivo de triangulacion.
CN115880291B (zh) * 2023-02-22 2023-06-06 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01247285A (ja) * 1988-03-29 1989-10-03 Nissan Motor Co Ltd ワーク位置決め装置の較正方法
JPH04201137A (ja) * 1990-11-30 1992-07-22 Fuji Heavy Ind Ltd 組立ラインにおける組付部品指示装置
JPH0591407A (ja) * 1991-09-30 1993-04-09 Nippon Telegr & Teleph Corp <Ntt> 映像通信装置
US5219258A (en) * 1992-01-13 1993-06-15 Storage Technology Corporation Illumination apparatus for a robotic object handling system
JP3028016B2 (ja) * 1993-02-26 2000-04-04 村田機械株式会社 積荷の三次元画像計測方法
EP1190213A1 (de) * 1999-05-14 2002-03-27 3DMetrics, Incorporated 3d-abbildungssystem mit farbigem strukturiertem licht
JP4444421B2 (ja) * 1999-12-15 2010-03-31 クラリオン株式会社 安全運転支援装置及び方法並びに物体検出装置
JP2003204480A (ja) * 2001-12-28 2003-07-18 Nokia Corp 画像処理方法
JP2003281686A (ja) * 2002-03-20 2003-10-03 Mitsubishi Heavy Ind Ltd 距離画像センサ及び車種判別装置
JP2004325186A (ja) * 2003-04-23 2004-11-18 Katsuhiro Iida 計測システムおよびその方法
JP4259910B2 (ja) * 2003-04-30 2009-04-30 パナソニック株式会社 ロボットの教示方法および教示装置
JP4407811B2 (ja) * 2003-06-20 2010-02-03 オムロン株式会社 作業支援装置
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
CN1971616B (zh) * 2005-11-23 2012-10-10 索诺塞特公司 多分辨率自适应滤波
JP4960025B2 (ja) * 2006-06-09 2012-06-27 日立情報通信エンジニアリング株式会社 作業管理システム
JP4583361B2 (ja) * 2006-12-14 2010-11-17 本田技研工業株式会社 位置補正装置、位置補正方法及びプログラム
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
WO2008147355A1 (en) * 2007-05-29 2008-12-04 Cognex Technology And Investment Corporation 3d assembly verification from 2d images
JP4775966B2 (ja) * 2007-06-15 2011-09-21 オムロン株式会社 異機種同時生産ラインにおける組立支援システム
GB2474177A (en) * 2008-06-24 2011-04-06 Yvonne Sylvia Griffits Computer controlled object locating system
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020100153A1 (de) * 2020-01-07 2021-07-08 Eq-3 Holding Gmbh Verfahren und Lagerfacheinrichtung zur Erkennung von Eingriffen in ein Lagerfach

Also Published As

Publication number Publication date
JP5552098B2 (ja) 2014-07-16
US20120062725A1 (en) 2012-03-15
JP2012056076A (ja) 2012-03-22

Similar Documents

Publication Publication Date Title
DE102011111392A1 (de) System zur Fehlervermeidung bei manuellen Montagevorgängen unter Verwendung von maschinellem Sehen
EP0772148B1 (de) Optische Erfassungseinrichtung
DE112014004305B4 (de) Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
US6947032B2 (en) Touch system and method for determining pointer contacts on a touch surface
DE102010038341B4 (de) Videoüberwachungssystem sowie Verfahren zur Konfiguration eines Videoüberwachungssystems
US8922587B2 (en) Crew shared video display system and method
DE102013110581A1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102008016215A1 (de) Informationsvorrichtungsbediengerät
WO2011110204A1 (de) Fahrerassistenzvorrichtung mit optischer darstellung erfasster objekte
AU2020222504B2 (en) Situational awareness monitoring
DE102017202782A1 (de) Sicherheitsscanner
JP2022523247A (ja) ながら運転のモニタリング方法、システム及び電子機器
DE102013114369B4 (de) Kameramodul für ein fahrzeug und damit versehenes überwachungssystem
EP3683183B1 (de) Verfahren zum betreiben eines flurförderzeugs sowie flurförderzeug und intralogistisches system
CN104024023A (zh) 用于尤其在机动车中提供用户界面的方法和设备
CH710280A1 (de) Verfahren sowie Auswertegerät zur Auswertung von Signalen einer LED-Zustandsanzeige.
DE10055689B4 (de) Verfahren zum Betrieb eines optischen Triangulationslichtgitters
EP2899566B1 (de) Verfahren zum Konfigurieren eines Laserscanners und Konfigurationsobjekt dafür
DE102018205965A1 (de) Verfahren und Steuergerät zum Kennzeichnen einer Person
EP3146411A1 (de) Vorrichtung zum anzeigen einer virtuellen realität sowie messgerät
WO2020160874A1 (de) Kalibriereinrichtung für eine überwachungsvorrichtung, überwachungsvorrichtung zur man-overboard-überwachung sowie verfahren zur kalibrierung
AT405005B (de) Video-projektionsanlage
DE102015217838A1 (de) Vorrichtung zur Unterstützung einer Wartung bei medizintechnischen Geräten
DE102016224693B4 (de) Vorrichtungen und Verfahren zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final