AT516306A2 - Verfahren zum Erstellen einer dreidimensionalen Dokumentation - Google Patents

Abstract

Um auf einfache Weise für einen aus mehreren Teilen (T) bestehenden Gebrauchsgegenstand (1) eine dreidimensionale Dokumentation erstellen zu können, werden Bildparameter (BP) zumindest einer Abbildung (A) des Gebrauchsgegenstandes (1) in einer bestehenden zweidimensionalen Dokumentation (2) ermittelt, wird ein 3D-Modell (M) des Gebrauchsgegenstandes (1) mit den ermittelten Bildparameter (BP) in Deckung mit der Abbildung (A) gebracht und aus dem Vergleich der zweidimensionalen Abbildung (A) und des 3D-Modells (M) mit den ermittelten Bildparametern (BP) aus der zweidimensionalen Abbildung (A) Zusatzinformation gewonnen, die gemeinsam mit dem 3D-Modell (M) die dreidimensionale Dokumentation (10) des Gebrauchsgegenstandes (1) bildet.

Description

Verfahren zum Erstellen einer dreidimensionalen Dokumentation

Die gegenständliche Erfindung betrifft ein Verfahren zum Erstellen einer dreidimensionalenDokumentation für einen Gebrauchsgegenstand, der aus mehreren Teilen besteht.

Dokumentation, wie z.B. Handbücher, Bedienungsanleitungen, Montageanleitungen, Repa¬raturanleitungen, Schulungsunterlagen, etc., für verschiedene Gebrauchsgegenstände, an¬gefangen von Haushaltsgeräten, Spielzeugen, Maschinen und Maschinenkomponenten biszu hochkomplexen technischen Geräten, liegen in den allermeisten Fällen in gedruckterForm vor, oder in einer digitalen Entsprechung, beispielsweise als pdf-Datei oder html-Datei.In einer solchen Dokumentation sind in der Regel verschiedene zweidimensionale Abbildun¬gen des Gebrauchsgegenstandes enthalten, anhand der ein Benutzer des Gebrauchsge¬genstandes die Funktion des Gebrauchsgegenstandes erfassen soll oder anhand der derBenutzer Anweisungen zum Benutzen des Gebrauchsgegenstandes erhält. Eine Abbildungkann eine einfache Ansicht oder eine isometrische Zeichnung oder auch ein Foto einer An¬sicht des Gebrauchsgegenstandes sein. Dabei sind solche Abbildungen in gedruckten Do¬kumentationen zwangsweise zweidimensionale Darstellungen verschiedener Ansichten desGebrauchsgegenstandes. Der Benutzer des Gebrauchsgegenstandes muss daher bei Ver¬wendung der Dokumentation zweidimensionale Ansichten auf den realen dreidimensionalenGebrauchsgegenstand umlegen, was eine durchaus komplexe geistige Herausforderung istund für viele Personen aufgrund der fehlenden oder geringen räumlichen Vorstellungskraftein Problem darstellt.

Eine Verbesserung dieser Situation kann durch die Verwendung von Dokumentationen indreidimensionaler Form erzielt werden, bei der der Gebrauchsgegenstand dreidimensionaldargestellt wird, beispielsweise an einer Anzeigeeinheit, und dabei die Ansicht des Ge¬brauchsgegenstandes beliebig geändert werden kann.

Eine weitere Verbesserung kann mittels Augmented Reality herbeigeführt werden. UnterAugmented Reality wird allgemein verstanden, die reale Sinneswahrnehmung einer Personder Realität, insbesondere das was gesehen, gehört oder gefühlt wird, um Zusatzinformationzu erweitern bzw. zu ergänzen. Diese Zusatzinformation kann einer Person ebenfalls visuell,akustisch oder haptisch vermittelt werden. Dabei wird z.B. der Gebrauchsgegenstand miteiner Aufnahmeeinheit, beispielsweise eine Digitalkamera eines Smartphones oder einesTablet-PCs, ein 3D-Scanner, etc., aufgenommen und die aufgenommene Ansicht des Ge¬brauchsgegenstandes in Echtzeit mit Zusatzinformation erweitert, indem diese z.B. am auf¬genommenen und dargestellten Bild eingeblendet wird oder indem eine akustische Informa¬tion abgespielt wird. Hierbei findet auch automatisch eine Anpassung der Darstellung beiÄnderuna der relativen Position zwischen Aufnahmeeinheit und Gehrauchsoeoenstand statt.

Es gibt bereits Ansätze, die Dokumentation von Gebrauchsgegenständen dreidimensional,auch mit Augmented Reality, zu realisieren. Allerdings ist das Erstellen einer dreidimensiona¬len Dokumentation eines Gebrauchsgegenstandes eine sehr komplexe und zeitaufwendigeAufgabe, insbesondere wenn dazu noch dreidimensionale Animationen, unter Umständenauch in Echtzeit (wie in Augmented Reality) erwünscht ist. Hierzu bedarf es eines geübten3D Designers und spezieller Softwareprodukte zur Animation. Aus diesem Grund haben sichdreidimensionale Dokumentationen oder Augmented Reality Dokumentationen bisher nichtdurchsetzen können.

Es ist nun eine Aufgabe der gegenständlichen Erfindung ein Verfahren anzugeben, mit demauf einfache Weise für einen Gebrauchsgegenstand, für den es nur zweidimensionale Do¬kumentation gibt, eine dreidimensionale Dokumentation zu erstellen.

Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass Bildparameter zumindest einerAbbildung des Gebrauchsgegenstandes in einer bestehenden zweidimensionalen Dokumen¬tation ermittelt werden, ein 3D-Modell des Gebrauchsgegenstandes mit den ermittelten Bild¬parameter in Deckung mit der Abbildung gebracht wird und aus dem Vergleich der zweidi¬mensionalen Abbildung und des 3D-Modells mit den ermittelten Bildparametern aus derzweidimensionalen Abbildung Zusatzinformation gewonnen wird, gemeinsam mit dem 3D-Modell die dreidimensionale Dokumentation des Gebrauchsgegenstandes bildet. DiesesVorgehen ermöglicht es, Abbildungen in bestehender zweidimensionale Dokumentation zuanalysieren, um daraus Zusatzinformation zu erhalten, die dann in beliebigen Ansichten des3D-Modells eingeblendet werden kann. Dabei ist es unerheblich, ob die zweidimensionaleDokumentation in Form einer schon bestehenden gedruckten Dokumentation mit zweidi¬mensionaler Bebilderung vorliegt, die für das erfindungsgemäße Verfahren verwendet wer¬den kann, oder ob die zweidimensionale Dokumentation erst für die Erstellung der dreidi¬mensionalen Dokumentation neu erstellt wird.

Um die Bildparameter auf einfache Weise bestimmen zu können, werden in der Abbildungund im 3D-Modell eine Mehrzahl von korrespondierenden Punkten ausgewählt und die Bild¬parameter variiert, bis sich die Abbildung und das 3D-Modell überdecken. Hierzu kann eingeeignetes Kriterium zur Bestimmung einer ausreichenden Überdeckung festgelegt werden.

Zur Bestimmung einer Führungslinie werden in der Abbildung zusammenhängende Kompo¬nenten ermittelt, die Exzentrizitäten der zusammenhängenden Komponenten ermittelt unddie ermittelte Exzentriztäten mit einem vorgegebenen Schwellwert verglichen, um zumindesteinen Kandidaten für eine Führungslinie zu ermitteln. Danach wird in die zusammenhängen¬de Komponente des Kandidaten in eine Längsrichtung der Region eine Gerade gelegt, diedie Führungslinie repräsentiert und anhand einer aus dem 3D-Modell gewonnenen Maske des Gebrauchsgegenstandes ermittelt, welcher Endpunkt der Gerade im Gebrauchsgegen¬stand liegt. Diese Methode kann mittels Verfahren der digitalen Bildverarbeitung automati¬siert umgesetzt werden, wodurch sich Führungslinien als Zusatzinformation sehr einfachidentifizieren lassen.

Wenn um den anderen Endpunkt der Gerade eine Suchregion definiert wird, die mit einerZeichenerkennungs-Software nach Anmerkungstext untersucht wird, kann auch der der Füh¬rungslinie zugeordnete, vorhandene Anmerkungstext automatisiert ermittelt werden und vor¬zugsweise zur Führungslinie zugeordnet abgespeichert werden. Die Gerade kann vorteilhaf¬terweise realisiert werden, indem in die zusammenhängende Komponente des Kandidateneine Ellipse gelegt wird, deren Hauptachse (als Gerade) in Richtung der Längserstreckungliegt und deren Scheitelpunkte die Endpunkte der ermittelten Führungslinie darstellen. Damitlässt sich ein sehr stabiler Algorithmus realisieren.

Ganz besonders vorteilhaft ist es, wenn der Endpunkt der Gerade, der innerhalb des Ge¬brauchsgegenstandes liegt einem Teil des Gebrauchsgegenstandes zugeordnet wird. Damitkann die Führungslinie in jeder Ansicht des Gebrauchsgegenstandes am richtigen Teil ver¬ankert werden.

Um Zusatzinformation zu generieren, die auf eine Bewegung eines Teils des Gebrauchsge¬genstandes zurückzuführen ist, wird vorteilhaft mit einer Methode zur Bewegungsplanung dieBewegungsmöglichkeiten zumindest eines Teils des Gebrauchsgegenstandes ermittelt.

Auch das lässt sich mit vorhandenen Methoden auf einfache Weise umsetzen.

Um Bewegungspfeile in der Abbildung zu ermitteln, können in der Abbildung zusammenhän¬gende Komponenten ermittelt werden, wobei zumindest eine zusammenhängende Kompo¬nente bestimmt wird, die charakteristische Merkmale eines Bewegungspfeils aufweist. Füreinen translatorischen Bewegungspfeil erfolgt das auf einfache Weise, indem zumindest einezusammenhängende Komponente bestimmt wird, deren Umfang genau zwei Konkavitätenaufweist. In die zusammenhängende Komponente kann wieder eine Ellipse mit einer Haupt¬achse in Längsrichtung der zusammenhängenden Komponente angepasst werden, wobeiein Scheitelpunkt der Ellipse, der näher an den Konkavitäten liegt, als Spitze eines Bewe¬gungspfeiles interpretiert wird. Damit lässt sich ein gewünschter Richtungsvektor eines Teilsdes Gebrauchsgegenstandes ermitteln.

Diese Information lässt sich vorteilhafterweise verwenden, indem anhand des ermitteltenBewegungspfeils auf eine angedeutete Bewegung eines Teils des Gebrauchsgegenstandesgeschlossen wird und anhand der Bewegungsplanung zumindest ein Teil des Gebrauchsge¬genstandes ermittelt wird, der diese Bewegung ausführen kann. Als Zusatzinformation kann man hier bestimmen, welche Teile am realen Gebrauchsgegenstand wie bewegt werdenkönnen. Damit können Ansichten erstellt werden, in denen ein Teil des Gebrauchsgegen¬standes verschoben und/oder verdreht dargestellt ist.

Anhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten kann auch diePosition zumindest eines Teils des Gebrauchsgegenstandes im 3D-Modell variiert werden,bis sich die Abbildung und das 3D-Modell ausreichend überdecken. Als Zusatzinformationkann hier die Art und die Distanz der Bewegung des Teil erhalten werden. Auf diese Weisekönnen Explosionsdarstellungen als Ansichten des Gebrauchsgegenstandes dargestelltwerden.

Zur Ermittlung von strukturellen Änderungen als Zusatzinformation können zwei Abbildungendes Gebrauchsgegenstandes untersucht werden, wobei sich eine erste Abbildung durch zu¬mindest einen hinzugefügten, entfernten oder umpositionierten Teil des Gebrauchsgegen¬standes von einer zweiten Abbildung unterscheidet und anhand der aus der Bewegungspla¬nung ermittelten Bewegungsmöglichkeiten ein Teil im 3D-Modell hinzugefügt wird, ein Teil im3D-Modell entfernt wird oder die Position zumindest eines Teils im 3D-Modell variiert wird,um von der ersten Abbildung zur zweiten Abbildung zu kommen. Diese Zusatzinformationlässt sich besonders vorteilhaft für eine Darstellung von einer am Gebrauchsgegenstand zusetzende Abfolge von Handlungen nutzen, bevorzug in Form einer Reihe von Ansichten desGebrauchsgegenstandes.

Um dieses Vorgehen zu beschleunigen, können in den beiden Abbildungen zuerst die sichunterscheidenden Regionen ermittelt werden und die Bewegungsmöglichkeiten nur solcherTeile untersucht werden, die in den unterscheidenden Regionen liegen.

Die gegenständliche Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1 bis 16näher erläutert, die beispielhaft, schematisch und nicht einschränkend vorteilhafte Ausgestal¬tungen der Erfindung zeigen. Dabei zeigt

Fig.1 und 2 das Vorgehen zum Bestimmen der Bildparameter einer Abbildung einerzweidimensionalen Dokumentation,

Fig.3 bis 5 das Vorgehen zum Bestimmen von Führungslinien mit Anmerkungen in ei¬ner Abbildung einer zweidimensionalen Dokumentation,

Fig.6 das prinzipielle Vorgehen einer Bewegungsplanung eines Teils des Gebrauchs¬gegenstandes,

Fig.7 und 8 das Vorgehen zum Bestimmen eines Bewegungspfeils in einer Abbildungeiner zweidimensionalen Dokumentation,

Fig.9 und 10 das Vorgehen zum Bestimmen einer Explosionsdarstellung in einer Abbil- dung einer zweidimensionalen Dokumentation,

Fig.11 und 12 das Vorgehen zum Bestimmen einer strukturelle Darstellung in einerAbbildung einer zweidimensionalen Dokumentation,

Fig.13 eine schematische Darstellung des Verfahrensablauf zur Bestimmung der Zu¬satzinformation und

Fig.14 bis 16 das Verfahren an einem konkreten Beispiel.

Eine Untersuchung bestehender gedruckter, zweidimensionalen Dokumentationen hat erge¬ben, dass diese zum überwiegenden Teil nur eine begrenzte Anzahl von Darstellungsartendes Gebrauchsgegenstandes umfassen. Insbesondere kommen die folgenden Darstellungs¬arten zum Einsatz: a) Abbildungen mit Anmerkungen

Dabei wird eine zweidimensionale Abbildung einer Ansicht des Gebrauchsgegenstandesgezeigt, wobei Anmerkungen hinzugefügt sind. Die Anmerkungen verweisen dabei mittelseiner Führungslinie auf einen bestimmten Teil des Gebrauchsgegenstandes. Die Anmerkun¬gen sind dabei häufig in Form von Text oder einer Zahl enthalten. Typische Anwendungensind Anmerkungen in Form von Bezugszeichen, die Teile des Gebrauchsgegenstandeskennzeichnen, oder Information zu einem Teil des Gebrauchsgegenstandes in Textform. AlsTeil des Gebrauchsgegenstandes wird hier und im Folgenden sowohl ein einzelner Bauteil,aber auch eine Baugruppe aus mehreren Einzelteilen verstanden. b) Abbildungen mit Beweaunaspfeilen

In dieser Darstellungsart ist in einer zweidimensionalen Abbildung einer Ansicht des Ge¬brauchsgegenstandes ein Pfeil hinzugefügt, der eine (translatorische oder rotatorische) Be¬wegung eines Teils des Gebrauchsgegenstandes andeutet, die von einem Benutzer am Ge¬brauchsgegenstand umgesetzt werden soll. Diese Darstellungsart kommt häufig in Bedie-nungs-, Service- oder Reparaturanleitungen zur Anwendung, um einem Benutzer anzudeu¬ten, wie ein Teil des Gebrauchsgegenstandes zu benutzen ist. c) Explosionsdarstellunqen

Bei dieser Darstellungsart sind in einer zweidimensionalen Abbildung einzelne Teile des Ge¬brauchsgegenstandes auseinandergezogen, also voneinander getrennt, dargestellt. Häufigsind die Teile entlang einer Explosionslinie angeordnet, um die Zuordnung einzelner Teile zugrößeren Baugruppen und die Anordnung im Gebrauchsgegenstand anzudeuten. DieserDarstellungsart wird häufig gewählt, um die interne Struktur eines Gebrauchsgegenstandesdarzustellen. d) Strukturelle Darstellungen

Bei dieser Darstellungsart ist in der Regel eine Sequenz von zweidimensionalen Abbildun¬gen des Gebrauchsgegenstandes dargestellt, wobei sich jede Abbildung vom Vorgängeroder Nachfolger durch zumindest einen Teil der entweder hinzugefügt, entfernt oder gegen¬über anderen Teilen in seiner Position verändert wurde, unterscheidet. Oftmals sind hinzuge¬fügte, entfernte oder umpositionierte Teile auch mit Führungslinien oder Pfeilen versehen,um den vorgesehenen Anbaupunkt am Gebrauchsgegenstand anzudeuten. Die verschiede¬nen Abbildungen zeigen dabei häufig auch eine identische Ansicht des Gebrauchsgegen¬standes in den verschiedeneren Konfigurationen. Diese Darstellungsart findet häufig beiMontage- oder Demontageanleitungen Anwendung, um dem Benutzer eine schrittweise An¬leitung zum Handeln zu geben.

Natürlich kommen in gedruckten Dokumentationen auch Kombinationen der oben erwähntenDarstellungsarten vor, was die Anwendbarkeit des nachfolgend beschriebenen erfindungs¬gemäßen Verfahrens aber nicht einschränkt.

Die zweidimensionale Dokumentation kann in Form einer schon bestehenden gedrucktenDokumentation mit zweidimensionaler Bebilderung vorliegen, typischerweise in Form vonHandbücher, Bedienungsanleitungen, Montageanleitungen, Reparaturanleitungen, Schu¬lungsunterlagen, etc.. Es ist aber im Rahmen der Erfindung auch möglich, die zweidimensio¬nale Dokumentation für die Erstellung der dreidimensionalen Dokumentation zuerst neu zuerstellen. Beispielsweise könnte der Gebrauchsgegenstand vor Anwendung des erfindungs¬gemäßen Verfahrens in verschiedenen Ansichten und Konfigurationen fotografiert werdenund die Fotos als zweidimensionale Abbildungen verwendet werden. Beides wird als zwei¬dimensionale Dokumentation im Sinne der vorliegenden Erfindung verstanden.

Die gegenständliche Erfindung beruht nun darauf, aus einer bestehenden herkömmlichenzweidimensionalen Dokumentation eines Gebrauchsgegenstandes 1 in gedruckter Form(oder in digitaler Entsprechung als Computerdatei) weitestgehend automatisiert eine dreidi¬mensionale Dokumentation dieses Gebrauchsgegenstandes 1 zu erstellen, die dann bei¬spielsweise auch für eine Augmented Reality Anwendung, für ein Web-Based Training oderfür eine animierte Dokumentation verwendet werden kann. Hierzu wird zumindest eine vor¬handene Abbildung A des Gebrauchsgegenstandes 1 in der zweidimensionalen Dokumen¬tation 2 analysiert und daraus Information für eine dreidimensionale Dokumentation gewon¬nen. Die Abbildung A in der Dokumentation 2 liegt dafür natürlich in digitaler Form vor, bei¬spielsweise indem die Abbildung A der Dokumentation 2 zweidimensional mit ausreichenderAuflösung eingescannt wird oder die Dokumentation 2 schon im digitalen Format vorliegt.

Hierbei wird sinnvollerweise eine dem Detailgrad der Abbildung entsprechende Auflösunggewählt.

Das Verfahren zur Erstellung der Augmented Reality Dokumentation wird nun nachfolgendim Detail beschrieben.

Voraussetzung für das erfindungsgemäße Verfahren ist, dass ein digitales 3D-Modell M desGebrauchsgegenstandes 1 vorliegt. Das digitale 3D-Modell M kann beispielsweise in Formeiner 3D-CAD Zeichnung vorliegen. Nachdem die Dokumentation 2 in der Regel vom Her¬steller des Gebrauchsgegenstandes 1 erstellt wird und in der heutigen Zeit die Entwicklungund Konstruktion des Gebrauchsgegenstandes 1 anhand von oder mittels 3D-Zeichnungenüblich ist, wird in den meisten Fällen eine solche 3D-CAD Zeichnung verfügbar sein. Eine3D-CAD Zeichnung hat den Vorteil, dass alle Teile enthalten und identifizierbar sind. Alterna¬tiv könnte vom Gebrauchsgegenstand 1 auch ein 3D-Scan angefertigt werden. Ebenso könn¬ten einzelne Teil des Gebrauchsgegenstandes 1 einzeln dreidimensional gescannt werdenund nachfolgend zu einem 3D-Modell des Gebrauchsgegenstandes 1 zusammengefügt wer¬den. Hierzu sind 3D-Scanner und zugehörige Software verfügbar, die es erlauben, solche3D-Scans anzufertigen. Beispielhaft sei hier der Kinect®-Sensor der Firma Microsoft® inKombination mit dem Open Source Softwarepaket KinFu genannt.

Im ersten Schritt des erfindungsgemäßen Verfahrens muss ermittelt werden, mit welchenBildparametern die zweidimensionale Abbildung A einer Ansicht des Gebrauchsgegenstan¬des 1 in der gedruckten Dokumentation 2 erstellt wurde, unabhängig davon, ob es sich beider Abbildung A um ein Foto oder um eine Zeichnung handelt. Die beiden wesentlichen Bild¬parameter sind dabei die Betrachtungsposition im Raum bezogen auf den Gebrauchsgegen¬stand 1 und die Brennweite, mit der der Gebrauchsgegenstand 1 betrachtet wurde. Am Bei¬spiel eines Fotos ist nachvollziehbar, dass sich die Abbildung ändert, wenn die Betrach¬tungsposition der Kamera zum Gebrauchsgegenstand 1 verändert wird oder wenn die Kame¬raeinstellungen, allen voran die Brennweite, verändert wird.

Dafür werden in einer möglichen Umsetzung des Verfahrens von einem Anwender in derAbbildung A und im 3D-Modell M eine Mehrzahl, vorzugsweise vier oder mehr, von korres¬pondierenden Punkten P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M markiert, wie in Fig.1 an¬gedeutet. Korrespondierende Punkte P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M sind identi¬sche Punkte des Gebrauchsgegenstandes 1 in der Abbildung A und im 3D-Modell M. Eserübrigt sich zu erwähnen, dass die Punkte P1A, P2A, P3A, P4A in der Abbildung A des Ge¬brauchsgegenstandes 1 dargestellt sind. Es geht also darum zu bestimmten Punkten P1A,P2A, P3A, P4Ades Gebrauchsgegenstandes 1 in der Abbildung A die Entsprechungen P1M,P2M, P3M, P4M im 3D-Modell M zu markieren, wie in Fig.1 durch den Doppelpfeil zwischen den Punkten P3A, P3M angedeutet. Über die korrespondierenden Punkte P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M kann das 3D-Modell M in Deckung mit der Abbildung A gebrachtwerden, das die korrespondierenden Punkte P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M beiÜberdeckung übereinander liegen müssen. Als nächstes wird die Brennweite als Bildpara¬meter geschätzt, falls diese, wie meistens der Fall sein wird, nicht bekannt ist. Mit der Abbil¬dung A, den korrespondierenden Punkten P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M undder geschätzten Brennweite kann die Betrachtungsposition BP, die zur Abbildung A der An¬sicht des Gebrauchsgegenstandes 1 geführt hat, mittels verfügbarer und hinlänglich bekann¬ter Algorithmen der digitalen Bildverarbeitung, beispielsweise dem bekannten POSIT-Algorithmus, bestimmt werden. Durch Übereinanderlegen der Abbildung A und der Ansichtdes 3D-Modells M mit der ermittelten Betrachtungsposition BP1, beispielsweise durch ge¬meinsame Anzeige auf einem Bildschirm, kann das Ergebnis kontrolliert werden, wie in Fig.2dargestellt. Ist die Abweichung zu groß (Fig.2 links), kann die Brennweite verändert werdenund/oder es können andere oder weitere korrespondierende Punkte ausgewählt werden.

Das kann iterativ wiederholt werden, bis sich eine ausreichend genaue Überdeckung derAbbildung A mit der Ansicht des 3D-Modells M bei einer ermittelten BetrachtungspositionBPn ergibt (Fig.2 rechts). Die Ermittlung der Betrachtungsposition BP kann einfach von ei¬nem Anwender ermittelt werden, wobei der Anwender selbst entscheidet, wann eine ausrei¬chende Überdeckung erzielt wurde. Genauso gut kann die Betrachtungsposition BP aberauch mit Hilfe von Standardmethoden der digitalen Bildverarbeitung, wie Verfahren zurPunktidentifikation und zur Ermittlung einer Bildüberdeckung, alternativ auch automatisiertdurchgeführt werden. Hierbei kann insbesondere auch die Brennweite automatisiert iterativverändert werden, bis sich eine bestmögliche Bildüberdeckung und somit die gesuchte Be¬trachtungsposition BP, die zur Abbildung A geführt hat, ergibt.

Die Ermittlung der Betrachtungsposition BP kann für jede interessierende zweidimensionaleAbbildung A der gedruckten Dokumentation 2 wiederholt werden. Oftmals ist es aber so,dass alle Abbildungen A der gedruckten Dokumentation 2 mit denselben Bildparameternerstellt wurden. Daher kann es auch ausreichend sein, die Bildparameter nur einmal zu er¬mitteln und anschließend auf alle interessierenden Abbildungen A, oder zumindest auf einigedavon, anzuwenden.

Nachdem die zweidimensionale Abbildung A in der gedruckten Dokumentation 2 und das3D-Modell M wie beschrieben in Deckung gebracht worden sind, kann die Abbildung A hin¬sichtlich der obigen Darstellungsarten analysiert werden. Das prinzipielle Vorgehen ist dabeiderart, dass aus dem Vergleich der zweidimensionalen Abbildung und einer Ansicht des 3D-Modells mit den ermittelten Bildparametern aus der zweidimensionalen Abbildung Zusatzin¬formation gewonnen wird, die dann in einer Ansicht des 3D-Modells des Gebrauchsgegen-

Standes, in Form einer Ansicht des 3D-Modells, eingeblendet werden kann. Die Zusatzinfor¬mation ist dazu vorzugsweise zu einzelnen Teilen des Gebrauchsgegenstandes 1 zugeord¬net, sodass die Zusatzinformation auch bei einer Änderung der Ansicht (z.B. wenn das 3D-Modell M im Raum gedreht wird) immer richtig in der jeweiligen Ansicht dargestellt werdenkann. a) Abbildungen mit Anmerkungen (Fiq.3 bis 5)

Aus dem 3D-Modell M in der Ansicht mit der ermittelten Betrachtungsposition BP wird einezweidimensionale Maske S (Fig.3 rechts) erstellt, die alle Pixel der ermittelten Ansicht des3D-Modells M enthält. Mit der Maske S können nun alle Pixel der digitalisierten Abbildung A(die in Deckung mit der Ansicht des 3D-Modells M ist) ermittelt werden, die außerhalb derAnsicht des Gebrauchsgegenstandes 1 liegen. Mithilfe von Methoden der digitalen Bildver¬arbeitung werden nun in der digitalisierten Abbildung A zusammenhängende Komponentengesucht. Ein möglicher Algorithmus hierfür ist der bekannte Maximally Stable Extremal Re¬gions (MSER) Algorithmus, der eine effiziente Methode zur Aufteilung eines Bildes in zu¬sammenhängende Komponenten darstellt. Jede derart bestimmte zusammenhängendeKomponente K umfasst damit eine Anzahl von Pixeln (angedeutet durch die Punkte in Fig.4)der digitalisierten Abbildung A. Von allen ermittelten zusammenhängenden Komponenten Kwerden diejenigen ausgewählt, die in der Abbildung A eine Führungslinie 3i, 32 darstellenkönnen. Hierzu kann z.B. die Exzentrizität der zusammenhängenden Komponenten K ermit¬telt werden. Die Exzentrizität ist hierbei als Verhältnis zwischen der größten Längserstre¬ckung und der größten Quererstreckung (normal auf die Längserstreckung) der zusammen¬hängenden Komponente K festgelegt. Für eine Führungslinie 3i, 32 kann angenommen wer¬den, dass die auf Eins normierte Exzentrizität annähernd Eins sein muss. Hier kann ein ent¬sprechender Schwellwert definiert werden. Jede zusammenhängende Komponente K1, K2,deren Exzentrizität diesen Schwellwert überschreitet und die äußere Grenze der Maske Sschneidet, oder zumindest berührt, (da eine Führungslinie 3i, 32 auf einen Teil des Ge¬brauchsgegenstandes 1 weisen muss) wird als Führungslinie 3i, 32 interpretiert (Fig.4).

Als nächstes sind die Endpunkte E11, E12 einer Führungslinien 3i, 32 zu bestimmen. Dazukann eine beliebige Methode verwendet werden, um in die Pixel der zusammenhängendenKomponenten K1, K2 in Richtung der Längserstreckung bestmöglich eine Gerade zu legen.Beispielsweise kann um die Pixel der zusammenhängenden Komponenten K1, K2 eine El¬lipse mit Hauptachse H in Richtung der Längserstreckung eingepasst werden, wie in Fig.4für die Komponenten K1 angedeutet. Die Scheitelpunkte der Ellipse auf der Hauptachse Hwerden dann als Endpunkte E11, E12 der gesuchten Führungslinie 3i interpretiert. Anhandder Maske S kann nun einfach bestimmt werden, welcher Endpunkt E11, E12 im Bereich desGebrauchsgegenstandes 1 liegen und welcher außerhalb.

Zum Endpunkt E12 innerhalb des Gebrauchsgegenstandes 1 kann anhand des 3D-Modell Mauch ermittelt werden, auf welchen Teil des Gebrauchsgegenstandes 1 die ermittelte Füh¬rungslinie 3i weist. Diese Zuordnung kann auch in einem eigenen Teilespeicher, der alleeinzeln identifizierbaren Teile des Gebrauchsgegenstandes 1 enthält, gespeichert werden.Der ermittelte Endpunkt E12 innerhalb des Gebrauchsgegenstandes 1 wird als AnkerpunktAP1 (Fig.5) der Führungslinie 3i für die dreidimensionale Dokumentation gespeichert, gege¬benenfalls gemeinsam mit der Zuordnung zu einem bestimmten Teil des Gebrauchsgegen¬standes 1 im Teilespeicher.

Der Ankerpunkt AP1 kann aber auch in den jeweiligen Körpermittelpunkt des zugehörigenTeils T verlegt werden, was für eine spätere dreidimensionale Darstellung des Gebrauchs¬gegenstandes 1 vorteilhaft sein kann.

Um den Endpunkt E11, der außerhalb des Gebrauchsgegenstandes 1 liegt, kann nun eineSuchregion SR festgelegt werden (Fig.4), die nach Text oder Zahlen durchsucht wird, bei¬spielsweise mittels herkömmlicher Zeichenerkennungs (OCR)-Software. Alternativ könnteein Anmerkungstext auch manuell zur ermittelten Führungslinie 3 hinzugefügt werden. Derderart ermittelte Anmerkungstext wird ebenfalls zur Führungslinie 3i gespeichert, beispiels¬weise wieder im Teilespeicher.

Wird nun in einer Augmented Reality Anwendung die Ansicht auf den Gebrauchsgegenstand1 verändert, indem z.B. die Kameraposition zur Aufnahme des Gebrauchsgegenstandes 1verändert wird, kann die Einblendung der ermittelten Führungslinie 3i und des zugeordnetenAnmerkungstextes durch den festgelegten Ankerpunkt AP1 entsprechend nachgezogenwerden. Der Ankerpunkt AP1 bleibt dabei auf den identifizierten Teil des Gebrauchsgegen¬standes 1 und der andere Endpunkt E11 der Führungslinie 3i mit dem Anmerkungstext kannin der Augmented Reality Darstellung an einer an sich beliebigen Stelle, vorzugsweise eineStelle außerhalb des Gebrauchsgegenstandes 1, positioniert werden, wie in Fig.5 dargestellt.Die Führungslinie 3 mit Anmerkungstext kann natürlich in jeder beliebigen dreidimensionalenAnsicht des Gebrauchsgegenstandes 1 dargestellt werden. b) Abbildungen mit Bewegunasofeilen (Fiq.6 bis 8)

Nachdem es hier um die Bewegung von Teilen T des Gebrauchsgegenstandes 1 geht istzuerst zu bestimmen, welche Teile T überhaupt individuell bewegbar sind. Diese Informationkann entweder bereits im 3D-Modell M enthalten sein, oder kann mittels bekannter Metho¬den ermittelt werden. Solche Methoden sind insbesondere aus dem Gebiet der Bewegungs¬planung von Bauteilen bekannt. Hierbei wird untersucht, welche Teile T1, T2 des Ge¬brauchsgegenstandes 1 im 3D-Modell M bewegt (translatorisch und/oder rotatorisch) werden können und falls ja, in welchem Bereich, ohne dabei mit anderen Teilen des Gebrauchsge¬genstandes 1 zu kollidieren. Hierbei wird sowohl ein möglicher Richtungsvektor RV1 (oderauch mehrere mögliche Richtungsvektoren) einer translatorischen Bewegung bzw. eineDrehachse (oder auch mehrere mögliche Drehachsen) einer möglichen rotatorischen Bewe¬gung ermittelt, als auch die mögliche Distanz D der Bewegung, wie in Fig.6 für eine transla¬torische Bewegung angedeutet. Eine Methode hierfür ist z.B. in Lozano-Perez, „T. Spatialplanning: A configuration space approach”, IEEE Trans. Comput. 32, 2 (Feb. 1983), S.108-120 beschrieben. Die Information der ermittelten möglichen Bewegungen wird für jeden TeilT1, T2 des 3D-Modells M gespeichert, beispielsweise wieder im Teilespeicher.

Als nächstes sind die Bewegungspfeile P in der Abbildung A zu identifizieren, wie anhandvon Fig.7 beispielhaft beschrieben wird. Das prinzipielle Vorgehen ist dabei gleich wie obenbezüglich der Führungslinie 3 beschrieben wurde. Hier werden zusammenhängende Kom¬ponenten K außerhalb der Maske S ermittelt, da angenommen wird, dass ein Bewegungs¬pfeil P in der Abbildung A nicht im Gebrauchsgegenstand 1 dargestellt ist. Allerdings kanndas Verfahren auch auf Bewegungspfeile P, die sich mit der Abbildung des Gebrauchsge¬genstandes 1 schneiden erweitert werden. Um einen möglichen Bewegungspfeil P automati¬siert zu erkennen, werden zusammenhängende Komponenten K gesucht, die charakteristi¬schen Merkmale eines Pfeiles aufweisen, also eine Spitze SP, eine Verbreiterung ausge¬hend von der Spitze SP, eine folgende Einschnürung und eine anschließende Basis. Im Bei¬spiel gemäß der Fig.7 werden z.B. die zusammenhängenden Komponenten K ermittelt, de¬ren Umfang U genau zwei Konkavitäten V1, V2 aufweist, was ein charakteristisches Merkmaleines Pfeils ist. Dann wird an die zusammenhängende Komponente K wieder eine Ellipse miteiner Hauptachse H angepasst, wobei die Hauptachse H in Richtung der Längserstreckungder zusammenhängenden Komponente K orientiert wird. Jener Scheitelpunkt der Ellipse, dernäher an den Konkavitäten V1, V2 liegt, wird als Spitze SP des Bewegungspfeiles P interpre¬tiert. Der andere Scheitelpunkt ist dann die Basis B des Bewegungspfeils P. Aus der Haupt¬achse H der Ellipse, sowie Basis B und Spitze SP (bzw. eines der beiden) kann ein Rich¬tungsvektor RV einer beabsichtigten Bewegung eines Teils T1, T2 des Gebrauchsgegen¬standes 1 festgelegt werden.

Nun gilt es noch zu bestimmen, welcher Teil T1, T2 des Gebrauchsgegenstandes 1 bewegtwerden soll. Zuerst werden die Teile T2 ermittelt, die überhaupt in Richtung des Richtungs¬vektors RV bewegt werden können. Hierbei werden die Teile T2 gesucht, deren Richtungs¬vektor RV1 der möglichen Bewegung (aus der oben beschriebenen Vorgehensweise derBewegungsplanung) sich mit dem Richtungsvektor RV des Bewegungspfeils P deckt. Hierzuwird sinnvollerweise ein räumlicher Winkelbereich α festgelegt, um den die beiden Rich¬tungsvektoren RV, RV1 abweichen dürfen, wie in Fig.8 angedeutet. Sollten mehrere Teile T des Gebrauchsgegenstandes 1 für die Bewegung in Frage kommen, dann kann entschiedenwerden, ob alle in Frage kommenden Teile bewegt werden sollen, bestimmte Teile bewegtwerden sollen oder es kann der Teil T2 ausgewählt werden, der am nächsten zur Basis Bdes Bewegungspfeils P liegt. Für Bewegungspfeile P, die eine Rotationsbewegung darstellen, kann analog vorgegangenwerden. Also zuerst Identifikation des Bewegungspfeils P und der erwünschten Rotation(bzw. Drehachse), und dann Bestimmen der Teile, die die Rotation ausführen können.

In einer Augmented Reality Darstellung kann dann beispielsweise in einer aufgenommenenrealen Ansicht des Gebrauchsgegenstandes 1 ein Bewegungspfeil P eingeblendet werdenund bei Klicken des Bewegungspfeils P eine Animation gestartet werden, die über der Auf¬nahme des Gebrauchsgegenstandes 1 die Bewegung eines Teils T2 des Gebrauchsgegen¬standes 1 animiert. Auch hier kann die Animation bei Änderung der Betrachtungsposition inEchtzeit nachgezogen werden. c) Explosionsdarstellunaen (Fia.9 bis 10)

Um die Bildparameter BP einer Explosionsdarstellung zu ermitteln, kann das oben beschrie¬bene Verfahren z.B. nur auf einen Teil T2 der Explosionsdarstellung (Fig.9), vorzugsweiseeine Hauptkomponente, angewendet werden.

Auch hier steht die Ermittlung der möglichen Bewegungen der Teile T des Gebrauchsgegen¬standes 1, wie oben beschrieben, am Anfang. Mit den ermittelten Bildparametern BP für dieAbbildung A der Explosionsdarstellung (siehe oben), werden dann die bewegbaren Teile Tdes Gebrauchsgegenstandes 1 im 3D-Modell M gemäß der bestimmten Bewegungsmöglich¬keiten variiert, also verschiedene Positionen der bewegbaren Teile T angenommen (Fig.10),und jeweils geprüft, inwieweit sich die Abbildung A und die jeweilige Ansicht des 3D-ModellsM mit den ermittelten Bildparametern BP decken. Dabei können ebenfalls wieder Standard¬methoden der digitalen Bildverarbeitung angewendet werden. Grundsätzlich kann ein belie¬biger Algorithmus zur Variation der möglichen Bewegungen implementiert werden. Beispielehierfür finden sich in Agrawala, M., et al., „Designing effective step-by-step assembly instruc¬tions”, ACM Trans. Graph. 22, 3 (2003), 828-837 oder Romney, B., et al., “An efficient sys¬tem for geometric assembly sequence generation and evaluation”, In Proc. of Computers inEngineering (1995), 699-712. Das Ziel des implementierten Algorithmus sollte aber natürlichauf Performance liegen, um bei komplexeren Gebrauchsgegenständen 1 mit vielen Teilen Tmit Bewegungsmöglichkeiten rasch zu einem Ergebnis zu kommen. Beispielsweise könnteman einen Teil T2 im 3D-Modell M gemäß der Bewegungsmöglichkeiten variieren und denBereich der Ansicht im 3D-Modell M, der den Teil T2 enthält mit dem gleichen Bereich in der

Abbildung 2 vergleichen, bis eine gute Deckung des Teils 2 im 3D-Modell M mit dem Teil T2in der Abbildung erzielt wurde. Das kann mit jeden Teil T wiederholt werden, bis alle Teileder Explosionsdarstellung in der richtigen Position identifiziert sind.

Bei bestmöglicher Deckung der Abbildung A der Explosionsdarstellung und des 3D-ModellsM erhält man die Information EX1 welche Teile T des Gebrauchsgegenstandes 1 für die Ex¬plosionsdarstellung wie (Richtungsvektor RV, Drehachse) und wie weit (Distanz D, Winkel)bewegt wurden. Diese Information EX1 kann dann gespeichert werden, beispielsweise wie¬der im Teilespeicher.

Diese Information kann dann in einer Augmented Reality Anwendung beispielsweise ver¬wendetwerden, um über eine Aufnahme des Gebrauchsgegenstandes 1 eine Explosions¬darstellung der Teile T einzublenden, vorzugsweise mittels animierter Bewegung der dafürnotwendigen Teile T. d) Strukturelle Darstellungen (Fia.11 bis 12)

In Fig.11 ist mit den Abbildungen A1, A2 der Dokumentation 2 beispielshaft eine Montagese¬quenz von Teilen T1, T2, T3 am Gebrauchsgegenstand 1 dargestellt, wobei hier der Teil T2mit Teil 3 am Teil T1 angeordnet wird. Zur automatisierten Analyse solcher struktureller Dar¬stellungen kann z.B. eine umgekehrte Montageplanung beginnend mit dem vollkommen zu¬sammengestellten Gebrauchsgegenstand 1 angewendet werden. Ausgangspunkt ist hierbeinatürlich wieder die Abbildung A und das damit in Deckung gebrachte 3D-Modell M. Ähnlichwie bei der oben beschrieben Bewegungsplanung werden nun die Bewegungsmöglichkeitender Teile T untersucht und die Teile im 3D-Modell M variiert, bis eine bestmögliche Deckunggefunden wurde. Das 3D-Modell M ist hierzu vorteilhaft auf die Teile reduziert, die in denAbbildungen A1, A2 enthalten sind, was anhand der umgekehrten Reihenfolge jeweils mög¬lich ist. Als Ergebnis liegen dann die Ansichten M1, M2 vor, die sich bestmöglich mit denAbbildungen A1, A2 decken, zusammen mit der Information, welche Teile T2, T3 wie bewegtwerden mussten, um zu den Ansichten M1, M2 zu kommen. Man erhält dabei InformationEX2 welche Teile T1, T2, T3 des Gebrauchsgegenstandes 1 für die strukturelle Darstellungzwischen zwei Abbildungen A1, A2 wie (Richtungsvektor RV, Drehachse) und wie weit (Dis¬tanz D, Winkel) bewegt wurden. Diese Information EX2 kann dann wieder gespeichert wer¬den, z.B. wieder im Teilespeicher.

Zur Beschleunigung der Suche können auch nur die Regionen R der Abbildungen A1, A2untersucht werden, in denen Veränderungen stattgefunden haben (Fig.12). Diese RegionenR können z.B. durch Ermitteln einer pixelweisen Differenz in der dargestellten Sequenz derAbbildungen A1, A2 gefunden werden. Wenn die Abbildung A1, A2 die Teile T1, T2, T3 flä¬ chig gefüllt mit unterschiedlichen Farben darstellt, was häufig der Fall ist, kann die Region Rder Änderung einfach durch pixelweise Subtraktion und Schwellwertbildung (um möglicheleichte Unterschiede zu eliminieren) ermittelt werden. Als pixelweise Subtraktion wird hier dieSubtraktion der Farbwerte jedes Pixels verstanden, woraus sich eine Differenz zwischen denBildern ergibt. Bei einfachen Strichzeichnungen als Abbildungen A1, A2, was ebenfalls oftvorkommt, können die Abbildungen A1, A2 vorher aufgebessert werden, in dem zuerst dieSilhouetten der Abbildung A1, A2 (also die äußere Umrandung) ermittelt werden und dannder Hintergrund der Abbildung A1, A2 außerhalb der Silhouette mit einer einheitlichen Farbegefüllt werden. Im Falle von Fotos als Abbildungen A1, A2 können auch andere Methodender digitalen Bildbearbeitung eingesetzt werden, um die sich ändernden Regionen aufzufin¬den. Ein Beispiel hierfür ist der bekannte Scale-invariant feature transform (SIFT) flow Algo¬rithmus beschrieben in Liu, C., Yuen, J., Torralba, A., Sivic, J., Freeman, W. T., „Sift flow:Dense correspondence across different scenes”, In Proceedings of the 10th European Con¬ference on Computer Vision: Part III, ECCV Ό8, Springer-Verlag (Berlin, Heidelberg, 2008),28-42, der zu einem Pixel eines Ausgangsbildes das meistähnliche Pixel eines Zielbildesfindet. Die oben beschriebene umgekehrte Montageplanung muss dann nur mehr auf dieseRegionen R der Veränderungen eingeschränkt werden.

Die Unterschiede in den Abbildungen A1, A2 können dabei in verschwundenen, hinzugefüg¬ten oder umpositionierten Teilen T1, T2, T3 liegen. Im Falle von umpositionierten Teilen T3können die bereits oben beschriebenen Methoden zur Analyse von Explosionsdarstellungenund/oder zur Analyse von Bewegungspfeilen verwendet werden.

In einer Augmented Reality Anwendung kann dann eine komplette Sequenz einer strukturel¬len Darstellung animiert dargestellt werden. Hierzu kann beispielsweise in einer aufgenom¬menen Darstellung des Gebrauchsgegenstandes 1 eine Montage- oder Demontagesequenzüberblendet dargestellt werden.

Die oben beschriebenen Methoden und der Ablauf zur Analyse einer Abbildung 2 einer Do¬kumentation eines Gebrauchsgegenstandes 1 ist nochmals übersichtlich in Fig.13 darge¬stellt. Ausgangspunkt sind das 3D-Modell M und eine zweidimensionale Abbildung A einerAnsicht des Gebrauchsgegenstandes 1. Information zu den einzelnen Teilen T des Ge¬brauchsgegenstandes 1 kann in einem Teilespeicher TS gespeichert werden, z.B. eine ein¬deutige Identifikation jedes Teils T. Im ersten Schritt S1 werden die Bildparameter BP ermit¬telt. Für eine Abbildung A mit Anmerkungen 11 werden im Schritt S2 die Anmerkungen x, yund die Führungslinien 3 ermittelt und gegebenenfalls im Teilspeicher TS (eventuell mit denAnkerpunkten AP) zu den jeweiligen Teilen T gespeichert. Für eine Abbildung A mit Bewe¬gungspfeilen I2, für eine Explosionsdarstellung I3 und für eine strukturelle Darstellung I4 istim Schritt S3 eine Bewegungsplanung der Teile T des Gebrauchsgegenstandes 1 vorgese- hen. Die Bewegungsmöglichkeiten (Richtungsvektor RV und/oder Drehachse) jedes Teils Twerden wieder im Teilespeicher TS abgelegt. Für eine Abbildung A mit Bewegungspfeilen 12werden im Schritt S4 die Bewegungspfeile P identifiziert und gewissen Teilen T des Ge¬brauchsgegenstandes 1 zugeordnet, was wieder im Teilespeicher TS abgespeichert wird. Für eine Explosionsdarstellung I3 und eine strukturelle Darstellung I4 kommen im Schritt S5die beschriebenen Algorithmen zum Bildvergleich zur Anwendung. Auch hier wird die ge¬wonnene Information EX1 (Verschiebung, Verdrehung bestimmter Teile T) teilebezogen imTeilespeicher TS abgelegt. Für eine strukturelle Darstellung I4 in der Abbildung A können imSchritt S6 auch noch Algorithmen zur Analyse von Regionen R mit Änderungen zur Anwen¬dung kommen, um die Information EX2 der geänderten Teile T zwischen zwei AbbildungenA1, A2 zu erhalten. Die Schritte S1 bis S6 werden hierbei unter Umständen auch kombiniertausgeführt, sodass auch Kombinationen verschiedener Abbildungen I5 analysiert werdenkönnen. Das Ergebnis ist eine dreidimensionale Dokumentation 10 des Gebrauchsgegen¬standes 1, die je nach Bedarf angepasst werden kann, beispielsweise mit Anmerkungen(01), als Animation einer Bewegung eines Teils T aufgrund von identifizierten Bewegungs¬pfeilen (02), als Explosionsdarstellung (03), als Montagesequenz (04) oder auch als belie¬bige Kombination der oben beschriebenen Möglichkeiten (05). Hierbei kann auch die Infor¬mation aus dem Teilespeicher TS verwendet werden.

Mit den Fig. 14 bis 16 wird das noch an einem konkreten Beispiel in Form einer Dokumentati¬on 2 für einen Filter beschrieben. In einer ersten Abbildung A1 ist der Filter mit den drei Tei¬len Gehäuse T1, Schraubdeckel T2 und Filtereinsatz T3 dargestellt, wobei zu den drei TeilenT1, T2, T3 auch noch Anmerkungen und Führungslinien enthalten sind. Mit den AbbildungenA2 und A3 wird mit einer Sequenz von Abbildungen in Form einer strukturellen Darstellungein Filterwechsel beschrieben. Hierzu ist in Abbildung A2 der Schraubdeckel T2 vom Filter¬gehäuse T1 entfernt dargestellt und die notwendige Handlung (Abschrauben des Deckels)durch einen Bewegungspfeil P1 angedeutet. In der Abbildung A3 ist schließlich der Filterein¬satz T3 aus dem Filtergehäuse entfernt dargestellt und die notwendige Handlung dafür wie¬der mit einem Bewegungspfeil P2 angedeutet. Diese Abbildungen A1, A2, A3 können wieoben beschrieben analysiert werden, um daraus eine dreidimensionale Dokumentation 10 zuerstellen, die dann wiederum weiterverwendet werden kann, z.B. in einer Augmented RealityAnwendung.

In einer eine Augmented Reality Anwendung des Gebrauchsgegenstandes 1 wird der Ge¬brauchsgegenstand 1 z.B. zuerst digital aufgenommen, z.B. mittels einer Digitalkamera, 3D-Scanner, etc., und dann das 3D-Modell M in Übereinstimmung mit der aufgenommenen An¬sicht des Gebrauchsgegenstandes 1 gebracht. Das kann entweder manuell erfolgen odermittels bekannter Algorithmen, wie dem SAC-IA (Sample Consensus Initial Alignment) Algo- rithmus. Die aufgenommene Ansicht des Gebrauchsgegenstandes 1 kann dann je nach Be¬darf mit der Information angereichert werden, die aus der oben beschriebene Analyse derDokumentation 2 erhalten wurde.

Beispielsweise können in der jeweiligen realen Ansicht des Gebrauchsgegenstandes 1 ausder gedruckten Dokumentation 2 gewonnene Anmerkungen eingeblendet werden. Die Füh¬rungslinie 3 wird ausgehend vom Ankerpunkt AP so dargestellt, dass die Anmerkungen op¬timal dargestellt werden können. Im Fall einer Bewegung eines Teils T in der AugmentedReality (z.B. Explosionsdarstellung, strukturelle Darstellung) können die Anmerkungen mit¬gezogen werden.

Explosionsdarstellungen oder strukturelle Darstellungen in der Augmented Reality könnenauch anwendergesteuert ablaufen, z.B. indem der Anwender angibt welche oder wievieleTeile in einer Explosionsdarstellung dargestellt werden.

Die Darstellung der Augmented Reality kann entweder in vollständig geänderten Darstellun¬gen wiedergegeben werden, oder es können nur die Umrisslinien über dem aufgenommenBild des Gebrauchsgegenstandes 1 dargestellt werden. Für die Augmented Reality Anwendung kann auch eine Computerbrille verwendet werden,mit der der Gebrauchsgegenstandes 1 gefilmt wird und über die vorher gewonnene Zusatzin¬formation zum Gebrauchsgegenstand 1 bei Bedarf in das Sichtfeld des Trägers der Compu¬terbrille eingeblendet wird.

Die gewonnene dreidimensionale Dokumentation 10 kann aber natürlich auch in einem Vir¬tual Reality Viewer verwendet werden, z.B. zur Schulung am Gebrauchsgegenstandes 1.Dabei können verschiedene Ansichten des 3D-Modells M dargestellt werden, die durch diegewonnen Zusatzinformation angereichert werden kann oder in der der Gebrauchsgegen¬standes 1 in verschiedenen Darstellungen, z.B. in einer Explosionsdarstellung, dargestelltwird. Natürlich können auch hier Animationen dargestellt werden, die z.B. aus einer struktu¬rellen Darstellung gewonnen wurde.

Claims (15)

1. Patentansprüche 1. Verfahren zum Erstellen einer dreidimensionalen Dokumentation (10) für einen Ge¬brauchsgegenstand (1), der aus mehreren Teilen (T, T1, T2, T3) besteht, wobei Bildparameter (BP) zumindest einer Abbildung (A) des Gebrauchsgegenstandes (1) ineiner bestehenden zweidimensionalen Dokumentation (2) ermittelt werden, ein 3D-Modell (M) des Gebrauchsgegenstandes (1) mit den ermittelten Bildparameter(BP) in Deckung mit der Abbildung (A) gebracht wird und aus dem Vergleich der zweidimensionalen Abbildung (A) und des 3D-Modells (M) mitden ermittelten Bildparametern (BP) aus der zweidimensionalen Abbildung (A) Zusatzinfor¬mation gewonnen wird, die gemeinsam mit dem 3D-Modell (M) die dreidimensionale Doku¬mentation (10) des Gebrauchsgegenstandes (1) bildet.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Abbildung (A) undim 3D-Modell (M) eine Mehrzahl von korrespondierenden Punkte (P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M) ausgewählt werden und die Bildparameter (BP) variiert werden, bis sich dieAbbildung (A) und das 3D-Modell (M) überdecken.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in der Abbildung (A) zusammenhängende Komponenten (K1, K2) ermittelt werden,die Exzentrizitäten der zusammenhängenden Komponenten (K1, K2) ermittelt werdenund die ermittelte Exzentrizitäten mit einem vorgegebenen Schwellwert verglichen werden,um zumindest einen Kandidaten für eine Führungslinie (3i, 32) zu ermitteln, in die zusammenhängende Komponente (K1, K2) des Kandidaten in eine Längsrich¬tung eine Gerade gelegt wird, die die Führungslinie (3i, 32) repräsentiert und anhand einer aus dem 3D-Modell (M) gewonnenen Maske (S) des Gebrauchsgegen¬standes (1) ermittelt wird, welcher Endpunkt (E12) der Gerade im Gebrauchsgegenstand (1)liegt.
4. 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass um den anderen End¬punkt (E11) der Gerade eine Suchregion (SR) definiert wird, die mit einer Zeichenerken-nungs-Software nach Anmerkungstext (x, y) untersucht wird.
5. 5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in die zusammenhän¬gende Komponente (K1, K2) des Kandidaten eine Ellipse gelegt wird, deren Hauptachse (H)in Richtung der Längserstreckung liegt und deren Scheitelpunkte die Endpunkte (E11, E12)der ermittelten Führungslinie (3i) darstellen.
6. 6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Endpunkt (E12) derGerade, der innerhalb des Gebrauchsgegenstandes (1) liegt einem Teil (T) des Gebrauchs¬gegenstandes (1) zugeordnet wird.
7. 7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mit einer Methode zurBewegungsplanung die Bewegungsmöglichkeiten zumindest eines Teils (1) des Gebrauchs¬gegenstandes (1) ermittelt werden.
8. 8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Abbildung (A) zu¬sammenhängende Komponenten (K) ermittelt werden und daraus zumindest eine zusam¬menhängenden Komponenten (K) bestimmt wird, die charakteristische Merkmale eines Be¬wegungspfeils (P) aufweist.
9. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zumindest eine zusammenhängenden Komponenten (K) bestimmt wird, deren Umfang(U) genau zwei Konkavitäten (V1, V2) aufweist, an die zusammenhängende Komponente (K) eine Ellipse mit einer Hauptachse (H) inLängsrichtung der zusammenhängenden Komponente (K) angepasst wird, und und ein Scheitelpunkt der Ellipse, der näher an den Konkavitäten (V1, V2) liegt, alsSpitze (SP) eines Bewegungspfeile (P) interpretiert wird.
10. 10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass anhand des er¬mittelten Bewegungspfeils (P) auf eine angedeutete Bewegung eines Teils (T) des Ge¬brauchsgegenstandes (1) geschlossen wird und anhand der Bewegungsplanung zumindestein Teil (T) des Gebrauchsgegenstandes (1) ermittelt wird, der diese Bewegung ausführenkann.
11. 11. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand der aus der Be¬wegungsplanung ermittelten Bewegungsmöglichkeiten die Position zumindest eines Teils (T)des Gebrauchsgegenstandes (1) im 3D-Modell (M) variiert wird, bis sich die Abbildung (A)und das 3D-Modell (M) ausreichend überdecken.
12. 12. Verfahren nach Anspruch 1 und 7, dadurch gekennzeichnet, dass zwei Abbildungen(A1, A2) des Gebrauchsgegenstandes (1) untersucht werden, wobei sich eine erste Abbil¬dung (A1) durch zumindest einen hinzu gefügten, entfernten oder umpositionierten Teil (T2,T3) des Gebrauchsgegenstandes (1) von einer zweiten Abbildung (A1) unterscheidet undanhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten ein Teil (T2,T3) im 3D-Modell (M) hinzugefügt wird, ein Teil (T2, T3) im 3D-Modell (M) entfernt wird oderdie Position zumindest eines Teils (T2, T3) im 3D-Modell (M) variiert wird, um von der erstenAbbilduna (A1) zur zweiten Abbildunq (A2) zu kommen.
13. 13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass in den beiden Abbil¬dungen (A1, A2) zuerst die sich unterscheidenden Regionen (R) ermittelt werden und dieBewegungsmöglichkeiten nur solcher Teile (T2, T3) untersucht werden, die in den unter¬scheidenden Regionen (R) liegen.
14. 14. Verwendung der dreidimensionalen Dokumentation (10), die nach einem der Ansprü¬che 1 bis 13 ermittelt wurde, um in einer Augmented Reality Anwendung über eine Aufnah¬me eines Gebrauchsgegenstandes (1) Zusatzinformation aus der dreidimensionalen Doku¬mentation (10) einzublenden.
15. 15. Verwendung der dreidimensionalen Dokumentation (10), die nach einem der Ansprü¬che 1 bis 13 ermittelt wurde, um in einem Virtual Reality Viewer in einer Ansicht des 3D-Modells (M) Zusatzinformation aus der dreidimensionalen Dokumentation (10) einzublenden.