EP3844580A1 - System und verfahren zur unterstützung einer oberflächenbearbeitung - Google Patents

System und verfahren zur unterstützung einer oberflächenbearbeitung

Info

Publication number
EP3844580A1
EP3844580A1 EP19736646.1A EP19736646A EP3844580A1 EP 3844580 A1 EP3844580 A1 EP 3844580A1 EP 19736646 A EP19736646 A EP 19736646A EP 3844580 A1 EP3844580 A1 EP 3844580A1
Authority
EP
European Patent Office
Prior art keywords
glasses
workpiece
defect
scanner
graphics processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19736646.1A
Other languages
English (en)
French (fr)
Inventor
Stefan Friese
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP3844580A1 publication Critical patent/EP3844580A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/18—Transportation, conveyor or haulage systems specially adapted for motor vehicle or trailer assembly lines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32217—Finish defect surfaces on workpiece
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the cameras can be mounted on a portal, under which the workpiece is transported, and thus capture it from various directions that may be difficult for an employee to access.
  • the gesture to be detected can be a pointing at the defect, a look at a predetermined object in the vicinity of the workpiece or a processing of the defect by the user of the VR glasses.
  • Fig. 1 is a schematic representation of the system according to the invention.
  • Vehicle bodies 1 are transported by the drive means 2 through a scanner 3, which comprises a portal 5 equipped with various cameras 4.
  • the cameras 4 are aligned with an interior of the portal 5 in order to detect the outer surfaces of the bodies 1 transported through.
  • Fig. 2 shows schematically the image that the employee 1 1 presents through the VR glasses 10.
  • the VR glasses 10 comprise one in a manner known per se

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ein System zur Unterstützung einer Oberflächenbearbeitung an einem Werkstück (1) umfasst - einen Scanner (3) zum Erkennen und Lokalisieren von Defekten an der Oberfläche eines Werkstücks (1), - ein relativ zum Scanner (3) bewegliches Ausgabeinstrument in Form einer VR-Brille (11) zum Ausgeben der Positionen, an denen der Scanner (3) einen Defekt lokalisiert, - Mittel (6, 9) zum Erfassen der Position und Orientierung der VR-Brille (10) relativ zum Werkstück (1) und - einen Grafikprozessor (12), der eingerichtet ist, in einem in der VR-Brille (10) angezeigten Bild einen Hinweis auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers (11) der VR-Brille (10) und dem Defekt erstreckenden Sichtlinie (15) anzuzeigen.

Description

System und Verfahren zur Unterstützung einer Oberflächenbearbeitung
B e s c h r e i b u n g
Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Unterstützung einer Oberflächenbearbeitung, insbesondere des Ausbesserns von
Lackierungsfehlern an einer Fahrzeugkarosserie. Das Erkennen solcher Fehler erforderte lange Zeit den kritischen Blick eines geübten Mitarbeiters, der um die gesamte Karosserie herumgehen musste, um sie aus verschiedenen Richtungen zu inspizieren. Trotz des damit verbundenen hohen Zeitaufwands war die Zuverlässigkeit der Fehlererkennung stark von der momentanen Verfassung des Mitarbeiters abhängig.
Aus WO 01/96829 A1 ist ein Verfahren zum Prüfen eines Produktes und
insbesondere auch zum Ausbessern von Lackierungsfehlern an einer
Fahrzeugkarosserie bekannt, das eine VR-Brille verwendet, um einem Werker Hinweise auf auszubessernde Fehler zu geben. Gleichzeitig ist eine Kamera der VR-Brille das einzige Mittel, um überhaupt solche Fehler zu finden. Daher muss ein Benutzer der Brille, um Lackierungsfehler zu finden, weiterhin die Karosserie umrunden, damit die Kamera sie aus allen Richtungen erfassen kann.
Eine Aufgabe der vorliegenden Erfindung ist, ein System und ein Verfahren zur Unterstützung einer Oberflächenbearbeitung an einem Werkstück zu schaffen, die eine schnelle und zuverlässige Erkennung und Behebung von Fehlern ermöglichen.
Die Aufgabe wird zum einen gelöst durch ein System zur Unterstützung einer Oberflächenbearbeitung an einem Werkstück, welche
- einen Scanner zum Erkennen und Lokalisieren von Defekten an der
Oberfläche eines Werkstücks, und ein relativ zum Scanner bewegliches Ausgabeinstrument zum Ausgeben der Positionen, an denen der Scanner einen Defekt lokalisiert hat, umfasst,
wobei das Ausgabeinstrument eine VR-Brille ist und das System
Mittel zum Erfassen der Position und Orientierung der VR-Brille relativ zum Werkstück und
einen Grafikprozessor umfasst, der eingerichtet, in einem in der VR-Brille angezeigten Bild einen Hinweis auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers der VR-Brille und dem Defekt erstreckenden Sichtlinie anzuzeigen.
So ist die Erfassung von Fehlern nicht mehr auf die Blickrichtung des Trägers der VR-Brille eingeschränkt, und es entfällt insbesondere die Notwendigkeit für den Träger der VR-Brille, das Werkstück zu umrunden, um eine Fehlererfassung aus verschiedenen Blickrichtungen zu ermöglichen.
Um das Werkstück in kurzer Zeit aus allen relevanten Richtungen zu erfassen, kann der Scanner mehrere Kameras aufweisen, die aus verschiedenen Richtungen auf eine Erfassungsregion ausgerichtet sind, in der das Werkstück platziert werden kann. Ferner können Antriebsmittel vorgesehen sein, um das Werkstück und die Kameras relativ zueinander zu bewegen. Insbesondere eine Variante, bei der das Werkstück an stationären Kameras des Scanners vorbeibewegt wird, eignet sich besonders zur Integration in eine Fließbandfertigung.
Die Kameras können an einem Portal montiert sein, unter dem das Werkstück hindurchtransportiert wird, und es so aus diversen, einem Mitarbeiter eventuell nur schwer zugänglichen Richtungen erfassen.
Der Grafikprozessor kann eingerichtet sein, einen Hinweis auf einen Defekt auch dann anzuzeigen, wenn der Defekt sich an einer von der VR-Brille abgewandten Seite des Werkstücks befindet. So ist sichergestellt, dass ein Benutzer der VR- Brille, wenn er sich dem Werkstück nähert, sofort darüber Bescheid weiß, ob auszubessernde Defekte vorhanden sind, und dazu nicht seinerseits zeitaufwendig das Werkstück umrunden muss.
Um zu verhindern, dass der Benutzer der VR-Brille vergeblich nach einem Defekt sucht, zu dem ihm ein Hinweis angezeigt wird, sollte der Grafikprozessor ferner eingerichtet sein, unterschiedliche Formen von Hinweisen zu verwenden, je nachdem, ob der Defekt sich an einer der VR-Brille zugewandten oder einer von der VR-Brille abgewandten Seite des Werkstücks befindet.
Wenn ein Defekt behoben ist, kann ein weiterhin angezeigter Hinweis auf den Defekt den Benutzer der VR-Brille irritieren. Deswegen vorzugsweise ferner Mittel zum Erfassen einer Geste des Benutzers der VR-Brille vorgesehen, um bei
Erkennung der Geste einen angezeigten Hinweis zu löschen.
Die zu erfassende Geste kann ein Zeigen auf den Defekt, ein Blicken auf ein vorgegebenes Objekt in der Umgebung des Werkstücks oder ein Bearbeiten des Defekts durch den Benutzer der VR-Brille sein.
Wenn die VR-Brille, z. B. als die oben erwähnten Mittel zum Erfassen der Position und Orientierung der VR-Brille, eine Kamera umfasst, kann eine Bildauswerteeinheit mit der Kamera verbunden sein, um zu beurteilen, ob ein Defekt behoben ist oder nicht, und den Hinweis auf den Defekt nur zu löschen, wenn der Defekt als behoben beurteilt wird.
Der Grafikprozessor ist ferner vorzugsweise eingerichtet, einen Umriss des
Werkstücks in dem in der VR-Brille angezeigten Bild wiederzugeben, etwa um dem Benutzer der VR-Brille unter mehreren Werkstücken in seiner Umgebung die Identifizierung des jeweils zu bearbeitenden Werkstücks zu erleichtern. Dieser Umriss sollte sich mit dem aus der Perspektive des Benutzers sichtbaren Umriss des Werkstücks decken.
Den Hinweis auf einen Defekt exakt auf der Sichtlinie anzuzeigen kann dem
Benutzer zwar das Finden eines Defekts erleichtern, andererseits kann es eine genaue Betrachtung des Defekts erschweren, die erforderlich ist, damit der
Benutzer entscheiden kann, wie der Defekt am besten zu beheben ist. Deswegen ist es zweckmäßig, einen solchen Hinweis nur dann anzuzeigen, wenn der Abstand der VR-Brille (und ihres Benutzers) vom Werkstück einen Grenzwert überschreitet, d.h. insbesondere zu groß ist, als dass der Benutzer den Defekt erreichen und bearbeiten könnte. Wenn hingegen der Defekt in Reichweite des Benutzers ist, dann ist die Verwendung eines zur Sichtlinie benachbarten Hinweises
zweckmäßiger, der die Inaugenscheinnahme des Defekts durch die VR-Brille hindurch nicht behindert. Ein solcher Hinweis kann z.B. einen sich um die Sichtlinie und den Defekt erstreckenden Kreis oder einen auf diese gerichteten Pfeil beinhalten.
Der Grafikprozessor kann ferner eingerichtet sein, Angaben zum Werkstück in alphanumerischer Form in das in der VR-Brille angezeigte Bild einzufügen. Bei diesen Angaben kann es sich um technische Angaben zum Werkstück wie etwa eine Typenbezeichnung oder eine werkstückspezifische Kennung, um Angaben zum Defekt oder auch um allgemeine Hinweise zum Umgang mit dem Werkstück und insbesondere zur Behebung des Defekts handeln.
Die Aufgabe wird ferner gelöst durch ein Verfahren zum Unterstützen einer
Oberflächenbearbeitung an einem Werkstück, mit den Schritten:
a) Scannen der Oberfläche eines Werkstücks, um Defekte der Oberfläche zu erkennen und zu lokalisieren,
b) Ausgeben der Positionen, an denen ein Defekt lokalisiert wurde, an einen Grafikprozessor,
c) Erfassen der Position und Orientierung einer VR-Brille, die an den
Grafikprozessor zum Empfangen von Bilddaten angeschlossen ist, relativ zum Werkstück,
e) in einem in der VR-Brille durch den Grafikprozessor angezeigten Bild, Anzeigen eines Hinweises auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers der VR-Brille und dem Defekt erstreckenden Sichtlinie.
Vorzugsweise sind die Defekte, auf die das Verfahren angewandt wird, Lackdefekte, und das Werkstück ist eine Fahrzeugkarosserie.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen. Es zeigen:
Fig. 1 eine schematische Darstellung des erfindungsgemäßen Systems;
Fig. 2 ein Beispiel des Bildes, das sich einem Benutzer der VR-Brille des in
Fig. 1 gezeigten Systems darbietet; und. Fig. 3 einen alternativen, in der VR-Brille angezeigten Hinweis.
Fig. 1 zeigt schematisch ein erfindungsgemäßes System, das in der Kfz-Fertigung zur Erkennung von Lackfehlern an Fahrzeugkarosserien 1 eingesetzt wird, die auf einem Fließband oder durch andere geeignete Antriebsmittel 2 gefördert aus einer nicht dargestellten, an sich bekannten Lackieranlage kommen. Die
Fahrzeugkarosserien 1 werden von dem Antriebsmittel 2 durch einen Scanner 3 hindurchtransportiert, der ein mit diversen Kameras 4 bestücktes Portal 5 umfasst Die Kameras 4 sind auf einen Innenraum des Portals 5 ausgerichtet, um die Außenflächen der hindurchtransportierten Karosserien 1 zu erfassen.
Eine an die Kameras 4 angeschlossene Bildauswertungseinheit 6 analysiert die von den Kameras gelieferten Bilder und generiert zu jeder Karosserie 1 , die das Portal 3 durchläuft, einen Datensatz, der eine individuelle Kennung der Karosserie 1 sowie ggf. Orte an der Karosserie 1 , an denen ein Lackierungsfehler erkannt worden ist, und ggf. Angaben zur Beschaffenheit des Lackierungsfehlers enthält.
Die so erhaltenen Datensätze werden in einer Datenbank 7 hinterlegt.
Ein Prozessrechner 8 greift auf die Datensätze in der Datenbank 7 zu. Indem der Prozessrechner 8 ferner mit einer Steuerung der Antriebsmittel 2 kommuniziert und deren Geschwindigkeit erfasst oder vorgibt, ist er jederzeit in der Lage, zu berechnen, an welchem Ort entlang des Fließbands sich eine bestimmte Karosserie 1 befindet.
Der Prozessrechner 8 ist ferner an mehrere Kameras 9 gekoppelt, um den
Aufenthaltsort und die Orientierung einer VR-Brille 10 zu erfassen, die von einem mit der Behebung der Lackierungsfehler befassten Mitarbeiter 1 1 getragen wird. Eine oder mehrere dieser Kameras 9 sind in der Umgebung des Fließbandes ortsfest montiert; eine weitere Kamera 9 kann in die VR-Brille 10 eingebaut und mit dieser beweglich sein, um das Blickfeld des die VR-Brille 10 tragenden Mitarbeiters 11 zu überwachen. Anhand von Bildern, die die ortsfesten Kameras 9 von dem Mitarbeiter 11 liefern, ist der Prozessrechner 8, z.B. durch Triangulation, in der Lage, den Aufenthaltsort des Mitarbeiters 11 (und, wenn auch mit begrenzter Genauigkeit, seine Blickrichtung) zu bestimmen. Ein Abgleich des von der Kamera der VR-Brille 10 gelieferten Bildes mit denen der ortsfesten Kameras 9 ermöglicht die Bestimmung der Blickrichtung des Mitarbeiters 11 bzw. der Orientierung der von ihm getragenen VR-Brille 10 mit hoher Genauigkeit.
Fig. 2 zeigt schematisch das Bild, das sich dem Mitarbeiter 1 1 durch die VR-Brille 10 darbietet. Die VR-Brille 10 umfasst in an sich bekannter Weise einen
Anzeigeschirm, dessen Transparenz und Farbe lokal steuerbar ist, so dass der Benutzer durch die transparenten Teile des Bildschirms der VR-Brille 10 hindurch die reale Umgebung, hier eine Abfolge der Karosserien 1 auf dem Fließband, wahrnehmen kann, und gleichzeitig auf dem Bildschirm angezeigte grafische Elemente wahrnehmen kann.
Anhand der bekannten Positionen der Karosserien 1 sowie der Position und
Orientierung der VR-Brille 10 ist ein Grafikprozessor 12 des Prozessrechners 8 in der Lage, für jede der Karosserien 1 deren Umriss zu berechnen, so wie er sich aus der erfassten Perspektive des Mitarbeiters 11 darbietet, und ein daraus
resultierendes Bild an die VR-Brille 10, vorzugsweise über Funkschnittstellen 19, 20 des Prozessrechners 8 und der VR-Brille 10, zu übertragen. Unter den Karosserien 1 wählt der Prozessrechner 8 anhand der Angaben in der Datenbank 7 diejenige aus, die auf dem Fließband am weitesten fortgeschritten ist, um einen diese
Karosserie 1 umgebenden Rahmen 13 zu berechnen und auf dem Bildschirm der VR-Brille 10 wiederzugeben, dass er die betreffende Karosserie 1 umschließt. Der Rahmen 13 kann eine Linie sein, die sich um die betreffende Karosserie 1 herum erstreckt; im hier gezeigten Fall ist die ausgewählte Karosserie 1 gegenüber den anderen zusätzlich dadurch hervorgehoben, dass die Transparenz des Bildschirms der VR-Brille 10 außerhalb des Rahmens 13 vermindert ist, so dass die nicht ausgewählten Karosserien dunkler und/oder mit vermindertem Kontrast,
verminderter Schärfe oder mit einem sie teilweise verbergenden Muster überlagert erscheinen. So wird die Aufmerksamkeit des Mitarbeiters intuitiv auf die zu bearbeitende Karosserie 1 gelenkt.
Anhand der Angaben der Datenbank 7 berechnet der Grafikprozessor 12, wo aus der Sicht des Mitarbeiters 1 1 Lackfehler an der Karosserie 1 sichtbar sein müssen, und platziert in der VR-Brille 10 einen Hinweis 14 auf jeden solchen Fehler auf einer Sichtlinie 15, die vom Auge des Mitarbeiters 11 zu diesem Lackfehler verläuft. In der Ausgestaltung der Fig. 2 haben diese Hinweise 14 die Form von Kreuzen, deren Kreuzungspunkt der Position des Lackfehlers auf der Karosserie 1 entspricht, d.h. auf der Sichtlinie liegt, die durch den Bildschirm der VR-Brille 10 hindurch das Auge des Benutzers 1 1 mit dem Lackfehler 16 verbindet. Der Hinweis 14 behindert so zwar die Sicht auf den Lackfehler, doch ist dies ohne Belang, solange der
Mitarbeiter 11 noch nicht nahe genug an den Lackfehler herangekommen ist, um ihn zu erreichen und bearbeiten zu können.
Während sich der Mitarbeiter 11 dem Lackfehler nähert, kann der Hinweis 14 auf dem Bildschirm der VR-Brille 10 seine Größe beibehalten oder weniger als umgekehrt proportional zum Abstand wachsen, so dass mit zunehmender
Annäherung an den Lackfehler seine Position genauer erkennbar wird.
Wie am Beispiel eines auf dem Dach der Karosserie 1 erfassten Lackfehlers deutlich wird, können die Hinweise 14 eine perspektivische Verzerrung
entsprechend der Orientierung der Oberfläche annehmen, auf der sich der
Lackfehler befindet, auf den sie hinweisen; so kann dem Mitarbeiter 11 das Finden des Lackfehlers zusätzlich erleichtert werden.
Ein Hinweis 14‘ von auch ohne perspektivische Verzerrung abweichender Gestalt, hier am hinteren Kotflügel der Karosserie 1 , z.B. in Form eines Kreuzes aus gestrichelten Linien, weist auf einen Lackfehler hin, der vom Standort des
Mitarbeiters 10 aus noch nicht sichtbar ist, weil er sich an einer gegenüberliegenden Seite der Karosserie 1 befindet. Sobald der Mitarbeiter 10 um die Karosserie 1 herumgeht und einen Ort erreicht, von wo aus dieser Lackfehler sichtbar ist, ändert der Grafikprozessor 12 das Erscheinungsbild des betreffenden Hinweises, z.B. in ein Kreuz aus durchgezogenen Linien wie der Hinweis 14 in Fig. 2, so dass der Mitarbeiter 10 am Erscheinungsbild eines Hinweises 14, 14‘ jederzeit beurteilen kann, an welcher Seite der Karosserie 1 der zugehörige Lackfehler zu suchen ist.
Wenn ein Abstand zum Lackfehler unterschritten ist, insbesondere wenn der Mitarbeiter 10 nahe genug an den Lackfehler herangekommen ist, um ihn bearbeiten zu können, ersetzt der Grafikprozessor 12 den Hinweis 14 durch einen Hinweis 14“ anderer Gestalt, der nicht unmittelbar in der (zur Ebene der Fig. 3 senkrechten) Sichtlinie 15 zwischen dem Auge des Mitarbeiters 11 und dem hier schematisch als kreuzschraffierte Fläche dargestellten Lackfehler 16 liegt, um die Sicht auf letzteren während der Ausbesserung nicht zu behindern.
Anhand der von der Kamera der VR-Brille 10 gelieferten Bilder ist der
Prozessrechner 8 in der Lage, den jeweils vom Mitarbeiter 1 1 bearbeiteten
Lackfehler zu identifizieren. Ebenfalls kann der Prozessrechner s erkennen, wenn sich der Mitarbeiter 1 1 nach erfolgreicher Ausbesserung von dem Lackfehler abwendet, und daraufhin den betreffenden Lackfehler aus der Datenbank 7 löschen oder ihn dort als behoben vermerken.
Damit der Lackfehler nicht gelöscht oder als behoben vermerkt wird, bevor der Mitarbeiter 11 mit seiner Ausbesserung fertig ist, z.B. weil der Mitarbeiter 1 1 zeitweilig den Kopf in eine andere Richtung wendet, kann vorgesehen werden, dass der Lackfehler erst dann gelöscht oder als behoben vermerkt wird, wenn im
Blickfeld der Kamera der VR-Brille 10 ein vorgegebenes Objekt 17 erscheint. Das Objekt 17 kann grundsätzlich beliebig ausgewählt werden; für einen intuitiven Gebrauch der VR-Brille 10 ist es zweckmäßig, wenn das Objekt 17 einen mit der erfolgreichen Ausbesserung verknüpften Sinngehalt hat, z.B. ein mit OK
beschriftetes Schild, das benachbart zum Fließband an einer Position montiert ist, wo die Wahrscheinlichkeit gering ist, dass der Mitarbeiter 1 1 unwillkürlich darauf blickt, z.B. deutlich über Augenhöhe, oder ein entsprechend beschriftetes Kärtchen, das der Mitarbeiter 1 1 zusammen mit Ausbesserungswerkzeugen mit sich führt und sich vor Augen bzw. vor die Kamera der VR-Brille 10 hält, wenn er mit der
Ausbesserung des Lackfehlers fertig ist. Denkbar ist auch, dass das Objekt 17 ein Finger des Mitarbeiters 1 1 ist, der, auf den fertig ausgebesserten Lackfehler zeigend, im Blickfeld der Kamera 9 der VR-Brille 10 erscheint.
Denkbar ist auch, dass der Prozessrechner 8 anhand der von der Kamera der VR- Brille 10 gelieferten Bilder den Fortschritt der Ausbesserung überwacht, entscheidet, ob der Lackfehler behoben ist oder nicht, und ggf. die Datenbank 7 entsprechend anpasst.
Wenn ein Lackfehler in der Datenbank 7 gelöscht oder als behoben vermerkt ist, wird kein Hinweis auf ihn in der VR-Brille 10 mehr angezeigt. Alternativ kann eine differenzierte Darstellung erfolgen, wobei der Ort des behobenen Lackfehlers im auf dem Bildschirm der VR-Brille 10 angezeigten Bild farbig oder mit Zeichenzusatz „OK“ etc. markiert wird.
Informationen 18 zu Typ und Identität der Karosserie wie etwa eine laufende Fertigungsnummer können benachbart zu dieser vom Grafikprozessor 12 in das in der VR-Brille 10 angezeigte Bild eingeblendet werden, vorzugsweise außerhalb des Rahmens 13, um die Sicht auf die zu bearbeitende Karosserie 1 nicht zu
beeinträchtigen. Wenigstens die Informationen zur Identität der Karosserie 1 sind auch an dieser selbst ablesbar, so dass durch einen Vergleich der vom
Grafikprozessor 12 angezeigten und der ablesbaren Informationen der Mitarbeiter 11 verifizieren kann, dass die in der VR-Brille 10 angezeigten Hinweise 14 auf Lackfehler sich tatsächlich auf die Karosserie 1 beziehen, die er gerade vor sich hat.
Es versteht sich, dass die obige detaillierte Beschreibung und die Zeichnungen zwar bestimmte exemplarische Ausgestaltungen der Erfindung darstellen, dass sie aber nur zur Veranschaulichung gedacht sind und nicht als den Umfang der Erfindung einschränkend ausgelegt werden sollen. Diverse Abwandlungen der beschriebenen Ausgestaltungen sind möglich, ohne den Rahmen der nachfolgenden Ansprüche und deren Äquivalenzbereich zu verlassen. Insbesondere gehen aus dieser
Beschreibung und den Figuren auch Merkmale der Ausführungsbeispiele hervor, die nicht in den Ansprüchen erwähnt sind. Solche Merkmale können auch in anderen als den hier spezifisch offenbarten Kombinationen auftreten. Die Tatsache, dass mehrere solche Merkmale in einem gleichen Satz oder in einer anderen Art von Textzusammenhang miteinander erwähnt sind, rechtfertigt daher nicht den Schluss, dass sie nur in der spezifisch offenbarten Kombination auftreten können; stattdessen ist grundsätzlich davon auszugehen, dass von mehreren solchen Merkmalen auch einzelne weggelassen oder abgewandelt werden können, sofern dies die Funktionsfähigkeit der Erfindung nicht in Frage stellt.
Bezugszeichenliste
I Karosserie
2 Antriebsmittel
3 Scanner
4 Kamera
5 Portal
6 Bildauswertungseinheit
7 Datenbank
8 Prozessrechner
9 Kamera
10 VR-Brille
II Mitarbeiter
12 Grafikprozessor
13 Rahmen
14 Hinweis
15 Sichtlinie
16 Lackfehler
17 Objekt
18 Information
19 Funkschnittstelle

Claims

P a t e n t a n s p r ü c h e
1. System zur Unterstützung einer Oberflächenbearbeitung an einem
Werkstück (1 ), welches
- einen Scanner (3) zum Erkennen und Lokalisieren von Defekten an der Oberfläche eines Werkstücks (1 ), und
ein relativ zum Scanner (3) bewegliches Ausgabeinstrument zum Ausgeben der Positionen, an denen der Scanner (3) einen Defekt lokalisiert hat, umfasst,
wobei das Ausgabeinstrument eine VR-Brille (10) ist und das System
Mittel (6, 9) zum Erfassen der Position und Orientierung der VR-Brille (10) relativ zum Werkstück (1 ) und
einen Grafikprozessor (12) umfasst, der eingerichtet ist, in einem in der VR-Brille (10) angezeigten Bild einen Hinweis (14, 14‘, 14“) auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines
Benutzers (11 ) der VR-Brille (10) und dem Defekt erstreckenden Sichtlinie (15) anzuzeigen.
2. System nach Anspruch 1 , bei dem der Scanner (3) mehrere Kameras (4), die aus verschiedenen Richtungen auf eine Erfassungsregion ausgerichtet sind, und Antriebsmittel (2) zum Bewegen des Werkstücks relativ zur
Erfassungsregion umfasst.
3. System nach einem der vorhergehenden Ansprüche, bei dem der
Grafikprozessor (12) eingerichtet ist, einen Hinweis (14“) auf einen Defekt auch dann anzuzeigen, wenn der Defekt sich an einer von der VR-Brille (10) abgewandten Seite des Werkstücks (1 ) befindet.
4. System nach Anspruch 3, bei dem der Grafikprozessor (12) eingerichtet ist, unterschiedliche Formen von Hinweisen (14, 14‘, 14“) zu verwenden, je nachdem, ob der Defekt sich an einer der VR-Brille (10) zugewandten oder einer von der VR-Brille (10) abgewandten Seite des Werkstücks (1 ) befindet.
5. System nach einem der vorhergehenden Ansprüche, ferner mit Mitteln (9) zum Erfassen einer Geste des Benutzers der VR-Brille (10), um bei
Erkennung der Geste einen angezeigten Hinweis (14‘) zu löschen.
6. System nach Anspruch 5, bei dem die zu erfassende Geste ein Zeigen auf den Defekt, ein Blicken auf ein vorgegebenes Objekt (16) in der Umgebung des Werkstücks (1 ) oder ein Bearbeiten des Defekts ist.
7. System nach Anspruch 6, bei dem die VR-Brille (10) eine Kamera (9)
umfasst und eine Bildauswerteeinheit (7) mit der Kamera (9) verbunden ist, um zu beurteilen, ob ein Defekt behoben ist oder nicht.
8. System nach einem der vorhergehenden Ansprüche, bei dem der
Grafikprozessor (12) eingerichtet ist, einen Umriss (13) des Werkstücks (1 ) in dem in der VR-Brille (10) angezeigten Bild wiederzugeben.
9. System nach einem der vorhergehenden Ansprüche, bei dem der
Grafikprozessor (12) eingerichtet ist, den Hinweis (14) wenigstens dann auf der Sichtlinie (15) anzuzeigen, wenn der Abstand zum Werkstück (1 ) über einem Grenzwert liegt.
10. System nach einem der vorhergehenden Ansprüche, bei dem der
Grafikprozessor eingerichtet ist, den Hinweis (14‘) wenigstens dann benachbart zur Sichtlinie (15) anzuzeigen, wenn der Abstand zum
Werkstück (1 ) unter einem Grenzwert liegt.
11. System nach einem der vorhergehenden Ansprüche, bei dem der
Grafikprozessor (12) eingerichtet ist, Angaben (18) zum Werkstück (1 ) in alphanumerischer Form in das in der VR-Brille (10) angezeigte Bild einzufügen.
12. Verfahren zum Unterstützen einer Oberflächenbearbeitung an einem
Werkstück, mit den Schritten:
a) Scannen der Oberfläche eines Werkstücks (1 ), um Defekte der Oberfläche zu erkennen und zu lokalisieren,
b) Ausgeben der Positionen, an denen ein Defekt lokalisiert wurde, an einen Grafikprozessor (12),
c) Erfassen der Position und Orientierung einer VR-Brille (10), die an den Grafikprozessor (12) zum Empfangen von Bilddaten angeschlossen ist, relativ zum Werkstück (1 ), e) in einem in der VR-Brille (10) durch den Grafikprozessor (12) angezeigten Bild, Anzeigen eines Hinweises (14, 14‘, 14“) auf einen Defekt auf oder benachbart zu einer sich zwischen dem Auge eines Benutzers (11 ) der VR-Brille (10) und dem Defekt erstreckenden Sichtlinie (15).
13. Verfahren nach Anspruch 11 , bei dem die Defekte Lackfehler (16) sind.
14. Verfahren nach Anspruch 11 oder 12, bei dem das Werkstück (1 ) eine
Fahrzeugkarosserie ist.
EP19736646.1A 2018-08-29 2019-07-01 System und verfahren zur unterstützung einer oberflächenbearbeitung Withdrawn EP3844580A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018006834.0A DE102018006834A1 (de) 2018-08-29 2018-08-29 System und Verfahren zur Unterstützung einer Oberflächenbearbeitung
PCT/EP2019/067615 WO2020043362A1 (de) 2018-08-29 2019-07-01 System und verfahren zur unterstützung einer oberflächenbearbeitung

Publications (1)

Publication Number Publication Date
EP3844580A1 true EP3844580A1 (de) 2021-07-07

Family

ID=67184998

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19736646.1A Withdrawn EP3844580A1 (de) 2018-08-29 2019-07-01 System und verfahren zur unterstützung einer oberflächenbearbeitung

Country Status (4)

Country Link
EP (1) EP3844580A1 (de)
DE (1) DE102018006834A1 (de)
MA (1) MA53471A (de)
WO (1) WO2020043362A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589534B (zh) * 2022-09-09 2023-09-08 广州市斯睿特智能科技有限公司 跟随式车辆检测项图片采集装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730885A1 (de) * 1997-07-18 1999-01-21 Audi Ag Verfahren zur automatischen Erkennung von Oberflächenfehlern an Rohkarosserien und Vorrichtung zur Durchführung des Verfahrens
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US8224020B2 (en) * 2007-11-29 2012-07-17 Kabushiki Kaisha Toshiba Appearance inspection apparatus, appearance inspection system, and appearance inspection appearance
KR101855778B1 (ko) * 2016-12-06 2018-05-09 현대자동차 주식회사 가상 마킹을 이용한 차체 결함 제거 방법, 및 시스템

Also Published As

Publication number Publication date
MA53471A (fr) 2021-12-08
WO2020043362A1 (de) 2020-03-05
DE102018006834A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
EP3507033B1 (de) Biegemaschine mit einer arbeitsbereichbilderfassungsvorrichtung und verfahren zur verbesserung der bedienersicherheit einer biegemaschine
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
EP3507035B1 (de) Biegemaschine mit einer arbeitsbereich-bilderfassungsvorrichtung und verfahren zur darstellung eines arbeitsbereichs
DE102014213518A1 (de) Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
DE102016107397B4 (de) Bahnanzeigevorrichtung zur darstellung der bahn einer werkzeugachse
EP3316181A1 (de) Verfahren zum erkennen von objekten in einem lager und flurförderzeug mit einer einrichtung zum erkennen von objekten in einem lager
EP2166510A1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
DE102017223160A1 (de) Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
DE102018006684B4 (de) Werkzeugmaschine und Verfahren zum Steuern einer axialen Bewegung
WO2020043362A1 (de) System und verfahren zur unterstützung einer oberflächenbearbeitung
EP3867027A1 (de) Verfahren zum visualisieren von prozessinformationen bei der fertigung von blechbauteilen
DE102017208102A1 (de) Verfahren zur vollautomatischen Korrektur von Beschichtungsfehlern
EP2581731B1 (de) Vorrichtung und Verfahren zum Erkennen von Anomalien an Instrumenten
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
EP3507034B1 (de) Biegemaschine mit einer biegeinformations-anzeigevorrichtung
DE69934785T2 (de) Vorrichtung zur Oberflächenmontage
DE102014214711B4 (de) Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE102017222818B4 (de) Verfahren zur automatischen Detektion von Fehlstellen und Abarbeitung von diesen Fehlstellen in einer Werkstückoberfläche
EP3644280A1 (de) Verfahren zur ausrichtung einer kamera nach ihren extrinsischen parametern
EP3986662B1 (de) Verfahren zur kontrolle und nacharbeitung eines werkstückes mit einer lasergeschnittenen geschlossenen innenkontur
EP3467544B1 (de) Verfahren für einen montagearbeitsplatz, montagearbeitsplatz, vorrichtung zum ausführen des verfahrens, computerprogramm und computerlesbares medium
DE102019209934B4 (de) Elektronisches Gerät und Verfahren zur Visualisierung von Oberflächendefekten eines Werkstücks
EP2762260A1 (de) Kamera-basiertes Monitoring der Rissschließung beim Umschmelzen und Vorrichtung dafür
EP2497065B1 (de) Verfahren zur bestimmung der ausrichtung eines oberen teils eines stückgutstapels
WO2024104754A1 (de) Verfahren zum durchführen einer testmontage eines an einer fahrzeugkarosserie zu montierenden prüfteils

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20210320

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAV Requested validation state of the european patent: fee paid

Extension state: MA

Effective date: 20210320

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20221114

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230525