DE10245649A1

DE10245649A1 - System und Verfahren zur Unterstützung der Montage bei nichteinsehbarer Fügestelle mit Augmented Reality Technologien

Info

Publication number: DE10245649A1
Application number: DE10245649A
Authority: DE
Original assignee: Meier, Peter Georg
Current assignee: Metaio GmbH
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-08

Abstract

Die Erfindung betrifft ein System und Verfahren zur Unterstützung bei Montageaufgaben, bei denen die Fügestelle verdeckt oder nicht einsehbar ist. Dabei wird die dreidimensionale Position und Orientierung der Bauteile zueinander, vorteilhafterweise auch die Blickrichtung des Betrachters, bestimmt. Mittels der Augmented Reality (AR) Technologie wird die Realität des Werkers dann mit zusätzlichen Sinneswahrnehmungen angereichert, um das Fügen der Bauteile zu erleichtern. Beispielsweise könnte dem Werker mittels einer Datenbrille statt des verdeckenden Bauteils eine halbtransparente Darstellung des verdeckenden Bauteils und eine Darstellung des zu fügenden, normalerweise verdeckten Bauteils eingeblendet werden. Die unterstützenden Sinneswahrnehmungen können den optischen Sinn, aber auch andere Sinne, wie den taktilen Sinn, oder eine Kombination verschiedener Sinneswahrnehmungen betreffen. So könnte der Werker durch unterschiedliche Vibrationssignale eines Fügewerkzeugs zur korrekten Fügestelle geleitet werden.

Description

Die Erfindung betrifft ein System und Verfahren zur Unterstützung bei Montageaufgaben, bei denen die Fügestelle verdeckt oder nicht einsehbar ist. Dabei wird die dreidimensionale Position und Orientierung der Bauteile zueinander, vorteilhafterweise auch die Blickrichtung des Betrachters, bestimmt. Mittels der Augmented Reality (AR) Technologie wird die Realität des Werkers dann mit zusätzlichen Sinneswahrnehmungen angereichtert, um das Fügen der Bauteile zu erleichtern. Beispielsweise könnte dem Wecker mittels einer Datenbrille statt des verdeckenden Bauteils eine halbtransparente Darstellung des verdeckenden Bauteils und eine Darstellung des zu fügenden, normalerweise verdeckten Bauteils eingeblendet werden. Die unterstützenden Sinneswahrnehmungen können den optischen Sinn, aber auch andere Sinne, wie den taktilen Sinn, oder eine Kombination verschiedener Sinneswahrnehmungen betreffen. So könnte der Wecker durch unterschiedliche Vibrationssignale eines Fügewerkzeug zur korrekten Fügestelle geleitet werden.

Stand der Technik

Aus dem Stand der Technik sind sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von Seheindrücken der realen Umgebung mit computergenerierten, virtuellen Informationen. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden. Ebenso wie die visuelle Informationsanreicherung, sind auch akustische und taktile Informationsanreicherungen möglich.

Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie in der Produktion von Flugzeugen bekannt. Nach der

Druckschrift DE 198 32 974 A1 und DE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt.

1 zeigt den beispielhaften Systemaufbau eines AR-Systems nach dem Stand der Technik, wobei Position und Orientierung des verdeckenden Bauteils bekannt sind. Die montierende Person [500] beobachtet ein Anzeigegerät [700], vorteilhafterweise eine Head Mounted Display. Eine Sensorik [800] erfasst die Position und die Blickrichtung des Betrachters relativ zum verdeckenden Bauteil [400]. Das Rechnersystem kann daraufhin Arbeitsanweisunge [600] relativ zum verdeckenden Bauteil [400] auf dem Anzeigegerät [700] darstellen. Die Arbeitsanweisung kann zum Beispiel eine virtuelle Darstellung des zu fügenden Bauteils [200] an der Fügestelle sein. Die Anzeige der wirklichen Position des zu fügenden Bauteils ist nicht möglich.

Bekannte Anwendungen der Augmented Reality für den Bereich der Montage sehen die Anzeige eines Soll-Fügevorgangs oder einer Soll-Fügeposition vor. Machteilig an den bekannten Verfahren ist, dass Ist-Position und Ist-Orientierung des zu verbauenden Teils dem AR-System nicht bekannt sind. Es können Arbeitsschritte und die gewünschte Endposition des zu verbauenden Teils angezeigt werden, der Werken muss jedoch die wahre Position und Orientierung des zu verbauenden Teils selbst abschätzen. Die schwierige Abschätzung der Position und Orientierung des Teils erhöht den zeitlichen Montageaufwand. Bei empfindlichen Oberflächen, kann es zu Beschädigungen durch falsches Ansetzen kommen.

Der Erfindung liegt somit die Aufgabe zu Grunde dem Wecker Informationen über die Position und/oder Orientierung des zu fügenden Bauteils relativ zur Fügestelle zur Verfügung zu stellen.

Beschreibung Endung

Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, das dem Wecker eine virtuelle Repräsentation des zu fügenden, nicht sichtbaren Bauteils anzeigt und/oder Informationen über die relative Position und/oder Orientierung des Bauteils mittels akkustischer und/oder taktiler Signale anzeigt. Hierzu werden erfindungsgemäß Augmented Reality Technologien eingesetzt.

2 zeigt einen vorteilhaften erfindungsgemäßen Systemaufbau und das erfindungsgemäße Verfahren. Position und Orientierung des verdeckenden Bauteils [400] sind bei dieser Beschreibung bekannt. Die montierende Person [500] beobachtet ein Anzeigegerät [700], vorteilhafterweise ein Head Mounted Display. Eine Sensorik [800] erfasst die Position und die Blickrichtung des Betrachters relativ zum verdeckenden Bauteil [400]. Das Rechnersystem kann daraufhin Arbeitsanweisungen [600] relativ zum verdeckenden Bauteil [400 ]auf dem Anzeigegerät [700] darstellen. Die Arbeitsanweisung kann zum Beispiel eine virtuelle Darstellung des zu fügenden Bauteils [200] an der Fügestelle sein. Eine Sensorik [810] für die Bestimmung der Position und/oder Orientierung eines Manipulators [300,] vorteilhafterweise eines Fügewerkzeugs, liefert Daten an ein Rechnersystem [900]. Die Sensorik kann unterschiedlich realisiert werden. Es sind aus dem Stand der Technik verschiedene Möglichkeiten zur Bestimmung von Position und Orientierung bekannt. Diese können auf der Auswertung unterschiedlicher physikalischer Größen beruhen. Eine vorteilhafte Realisierung der Erfassung von Position und Orientierung kann außerdem über die Auswertung von Daten einer Kamera [820] erfolgen, welche auf den sichtbaren Teil des Manipulators [300] gerichtet ist. Die Auswertung kann durch in der Kamera integrierte Bildverarbeitungsfunktionen und/oder durch das Rechnersystem [900] erfolgen.

Das Rechnersystem kann dem Werken [500] mit den Daten über Position und/oder Orientierung des Manipulators [300) unterstützende Informationen zum Fügen zurückliefern. Das Rechnersystem [900] errechnet aus den Informationen der verschiedenen Sensoren [800, 810 bzw. [820] vorteilhafterweise eine visuelle Darstellung des zu fügenden Bauteils [200], welche hinsichtlich der perspektivischen Orientierung und Größe der perspektivischen Blickrichtung des Anwenders angepasst ist. Die Darstellung kann eine virtuelle Darstellung des Innenraums des verdeckenden Bauteils [400] beinhalten. Dadurch hat der Werker den visuellen Eindruck, dass die Vorderseite des verdeckenden Bauteils [400] weggeschnitten ist.

Bei einem weiteren, vorteilhaften Systemaufbau errechnet das Rechnersystem [900] aus den Informationen der Sensoren [810 und/oder 820] Signale, die dem Werker mittels eines Lautsprechers [1000], der akkustische Signale erzeugt, und/oder eines Aktors [310,] der taktile Signale, vorteilhafterweise am Manipulator, erzeugt, dabei helfen, das zu fügende Bauteil [200] an die Fügestelle [100] zu führen. Vorteilhafterweise werden dabei Bewegungen in die richtige Richtung durch positive Signale unterstützt, während Bewegungen in die falsche Richtung durch negative Signale angezeigt werden.

100: Fügestelle
200: zu fügendes Bauteil
300: Manipulator für zu fügendes Bauteil, vorteilhafterweise
: Fügewerkzeug
310: Aktor zur Erzeugung taktiler Informationen, vorteilhafterweise in
: Manipulator intergriert
400: verdeckendes Bauteil (Position und Orientierung bekannt)
500: Werker
600: virtuelle Arbeitsanweisung orientiert an Fügestelle
610: virtuelle Anzeige der Position des zu fügenden Bauteils
700: Anzeigegerät, vorteilhafterweise Head Mounted Display
800: Sensorik für die Blickrichtung und Position des Betrachters
810: Sensorik für die Position und Orientierung des Fügewerkzeugs
820: Kamera, vorteilhafterweise mit integrierten
: Bildverarbeitungsfunktionen
900: Rechnersystem
1000: Lautsprecher

Claims

System und Verfahren zur Unterstützung bei der verdeckten oder nichteinsehbaren Montage mit Augmented Reality Technologien, dadurch gekennzeichnet, dass die Orientierung und/oder Position des zu fügenden Bauteils relativ zur Fügestelle mit Augmented Reality Technologien angezeigt werden.
System und Verfahren zur Unterstützung bei der verdeckten oder nichteinsehbaren Montage mit Augmented Reality Technologien, dadurch gekennzeichnet, dass die montierende Person mit Augmented Reality Technologien Informationen darüber erhält, in welcher Richtung sich die Fügestelle befindet.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet dass die Orientierung und/oder Position des zu fügenden, verdeckten Bauteils mittels eines Head Mounted Displays angezeigt werden.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Darstellung des verdeckten Bauteils hinsichtlich der perspektivischen Orientierung und Größe der perspektivischen Blickrichtung des Anwenders angepasst sind.
System und Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Darstellung eine virtuelle Darstellung des Innenraums des verdeckenden Bauteils [400] beinhaltet wodurch der Werker den visuellen Eindruck erhält, dass die Vorderseite des verdeckenden Bauteils [400] weggeschnitten ist.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Orientierungs- und/oder Positionsbestimmung des zu fügenden, verdeckten Bauteils mit einer Kamera und angeschlossenem Bildverarbeitungssystem realisiert wird.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Orientierungs- und/oder Positionsbestimmung des zu fügenden, verdeckten Bauteils mit einem magnetischem Feld realisiert wird.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Orientierungs- und/oder Positionsbestimmung des zu fügenden, verdeckten Bauteils mittels der Auswertung akkustischer Signale realisiert wird.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuellen Informationen zwei- oder dreidimensional auf einem Monitor oder zwei- oder dreidimensional durch ein Head Mounted Display visualisiert werden.
System und Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Richtungsinformationen, der montierenden Person zwei- oder dreidimensional auf einem Monitor oder durch ein Head Mounted Display visualisiert werden.
System und Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Richtungsinformationen der montierenden Person mittels akkustischer Signale vermittelt werden.
System und Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Richtungsinformationen der montierenden Person mittels taktiler Signale, vorteilhafterweise Vibrationen des Manipulators, vermittelt werden.
System und Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass Bewegungen in die richtige Richtung durch positive Signale unterstützt, während Bewegungen in die falsche Richtung durch negative Signale angezeigt werden.
System und Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass Bewegungen in die richtige Richtung durch positive Signale unterstützt, während Bewegungen in die falsche Richtung durch negative Signale angezeigt werden.