DE102014217718B4 - Method for operating an augmented reality system - Google Patents

Method for operating an augmented reality system Download PDF

Info

Publication number
DE102014217718B4
DE102014217718B4 DE102014217718.9A DE102014217718A DE102014217718B4 DE 102014217718 B4 DE102014217718 B4 DE 102014217718B4 DE 102014217718 A DE102014217718 A DE 102014217718A DE 102014217718 B4 DE102014217718 B4 DE 102014217718B4
Authority
DE
Germany
Prior art keywords
edge
image
virt
virtual image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014217718.9A
Other languages
German (de)
Other versions
DE102014217718A1 (en
Inventor
Dirk Koriath
Ulrich Rautenberg
Andrea Spillner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102014217718.9A priority Critical patent/DE102014217718B4/en
Publication of DE102014217718A1 publication Critical patent/DE102014217718A1/en
Application granted granted Critical
Publication of DE102014217718B4 publication Critical patent/DE102014217718B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zur Darstellung eines virtuellen Bildbestandteils (VIRT) auf einem transparenten Display (11), wobei mittels einer realen Kamera ein reales Bild (RB) eines realen Objektes aufgenommen wird, das ein Betrachter bei Durchsicht durch das transparente Display (11) sieht, wobei in Abhängigkeit des realen Bildes (RB) ein Kantenbild (KANTE) des realen Objektes generiert wird, wobei in Abhängigkeit des Kantenbildes (KANTE) ein virtueller Bildbestandteil (VIRT) ausgewählt wird, und wobei der ausgewählte virtuelle Bildbestandteil (VIRT) mittels des transparenten Displays (11) dargestellt wird, wobei zum Auswählen des virtuellen Bildbestandteils (VIRT) in Abhängigkeit des Kantenbildes (KANTE) das Kantenbild (KANTE) mit einer Mehrzahl Vergleichskantenbildern verglichen wird, denen jeweils zumindest ein virtueller Bildbestandteil zugeordnet ist, wobei der virtuelle Bildbestandteil (VIRT) ausgewählt wird, dessen zugeordnetes Vergleichskantenbild dem Kantenbild (KANTE) entspricht, im Wesentlichen entspricht, ähnlich ist, hinreichend ähnlich ist, im Wesentlichen ähnlich ist oder am ähnlichsten ist.

Figure DE102014217718B4_0000
Method for displaying a virtual image component (VIRT) on a transparent display (11), a real image (RB) of a real object being recorded by means of a real camera, which a viewer sees when looking through the transparent display (11), in Depending on the real image (RB), an edge image (EDGE) of the real object is generated, a virtual image component (VIRT) being selected as a function of the edge image (EDGE), and the selected virtual image component (VIRT) using the transparent display (11 ), whereby to select the virtual image component (VIRT) depending on the edge image (EDGE), the edge image (EDGE) is compared with a plurality of comparison edge images, each of which is assigned at least one virtual image component, the virtual image component (VIRT) being selected whose associated comparison edge image corresponds to the edge image (EDGE), essentially corresponds to, is similar, is sufficiently similar, is substantially similar, or is most similar.
Figure DE102014217718B4_0000

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Augmented-Reality-Systems bzw. ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem Display, vorzugsweise einem transparenten Display, wobei mittels einer realen Kamera ein reales Bild eines realen Objektes aufgenommen wird.The invention relates to a method for operating an augmented reality system or a method for displaying a virtual image component on a display, preferably a transparent display, a real image of a real object being recorded by means of a real camera.

Gemäß der WO 01/96829 A1 ist der Begriff Augmented-Reality als Überlagerung einer realen Umgebung mit einer rechnergenerierten Umgebung, d. h. einer virtuellen Welt, definiert. Augmented-Reality ist somit eine Art der Mensch-Technik-Interaktion, die dem Anwender Informationen in sein Sichtfeld einblendet und so seine Wahrnehmung erweitert.According to the WO 01/96829 A1 the term augmented reality is defined as the superimposition of a real environment with a computer-generated environment, ie a virtual world. Augmented reality is thus a type of human-technology interaction that shows the user information in his field of vision and thus expands his perception.

Die DE 10 2006 005 044 B4 offenbart ein Verfahren zur Bestimmung eines Datenmodells einer virtuellen Information, das bestimmt ist, in einem Verfahren zur Objektverfolgung mit einem Abbild eines realen Objekts überlagert zu werden, wobei ein dreidimensionales CAD-Modell zur Nachbildung des realen Objekts vorgesehen ist. Dabei werden unterschiedliche synthetische zweidimensionale Ansichten des CAD-Modells generiert und jede generierte Ansicht einer Kantenextraktion zur Bestimmung wenigstens einer extrahierten Kante unterzogen.the DE 10 2006 005 044 B4 discloses a method for determining a data model of virtual information which is intended to be overlaid with an image of a real object in a method for object tracking, a three-dimensional CAD model being provided for replicating the real object. Different synthetic two-dimensional views of the CAD model are generated and each generated view is subjected to an edge extraction to determine at least one extracted edge.

Die DE 10 2006 004 731 A1 offenbart ein Verfahren zur Bestimmung der Position oder Orientierung einer Kamera bezüglich eines realen Objekts, wobei durch die Kamera ein Real-Bildobjekt des realen Objektes erfasst wird, wobei Referenzbildobjekte eines virtuellen Objektes, das dem realen Objekt entspricht, abgespeichert sind, und wobei auf der Basis von einem Referenzbildobjekt und dem Real-Bildobjekt die Position oder Orientierung der Kamera bezüglich des realen Objekts bestimmt wird.the DE 10 2006 004 731 A1 discloses a method for determining the position or orientation of a camera with respect to a real object, the camera capturing a real image object of the real object, wherein reference image objects of a virtual object corresponding to the real object are stored, and based on the position or orientation of the camera with respect to the real object is determined by a reference image object and the real image object.

Die WO 01/96829 A1 offenbart ein Verfahren zur Automobilproduktion, wobei ein Prüfer bei der Durchführung einer Prüfung im Hinblick auf Qualitätsmängel eines Kraftfahrzeugs oder einer Kraftfahrzeug-Komponente durch ein Augmented-Reality-System unterstützt wird, welches prüfungsrelevante Daten aufnimmt und/oder an den Prüfer ausgibt, wobei die Prüfung im Rahmen der Fertigung des Kraftfahrzeugs oder der Kraftfahrzeug-Komponente zum Feststellen von Qualitätsmängeln bei dem Kraftfahrzeug oder der Kraftfahrzeug-Komponente in zumindest einem vorbestimmten Fertigungszustand erfolgt, wobei einem Werker bei der Durchführung einzelner, der Prüfung vorgelagerter Fertigungsschritte zur Fertigung weiterer Kraftfahrzeuge oder Kraftfahrzeug-Komponenten über das Augmented-Reality-System ein auf zumindest einem der festgestellten Qualitätsmängel basierender Vorsichtshinweis zugeführt wird, und wobei einem Nachbearbeiter bei der Durchführung einer der Prüfung nachgeschalteten Nachbearbeitung eines mangelbehafteten Kraftfahrzeugs oder einer mangelbehafteten Kraftfahrzeug-Komponente eine auf den jeweils festgestellten Qualitätsmängeln basierende Fehlerinformation über das Augmented-Reality-System zugeführt wird.the WO 01/96829 A1 discloses a method for automobile production, wherein a tester is supported in carrying out a test with regard to quality defects of a motor vehicle or a motor vehicle component by an augmented reality system which records data relevant to the test and / or outputs it to the tester, the test In the context of the manufacture of the motor vehicle or the motor vehicle component to detect quality defects in the motor vehicle or the motor vehicle component in at least one predetermined manufacturing state, a worker performing individual manufacturing steps prior to the inspection to manufacture further motor vehicles or motor vehicle components A cautionary note based on at least one of the ascertained quality defects is supplied via the augmented reality system, and a postprocessor when performing a postprocessing subsequent to the test of a defective vehicle In the case of a vehicle or a defective motor vehicle component, error information based on the quality defects found in each case is supplied via the augmented reality system.

Die DE 10 2009 040 848 A1 betrifft ein Verfahren zum Erzeugen eines Augmented-Reality-Bildes (ARB), wobei ein optisch zeitvarianter Marker (20) in einer aufzunehmenden realen Umgebung platziert wird, wobei ein reales Bild (RB) der realen Umgebung zusammen mit dem optisch zeitvarianten Marker (20) mittels einer Kamera aufgenommen wird, wobei die Position eines virtuellen Bildbestandteils (VIRT) zu dem mittels der Kamera aufgenommenen realen Bild (RB) bestimmt wird und wobei der virtuelle Bildbestandteil (VIRT) mit zumindest einem Teil des realen Bildes (RB) zu einem Augmented-Reality-Bild (ARB) kombiniert wird.the DE 10 2009 040 848 A1 relates to a method for generating an augmented reality image (ARB), with an optically time-variant marker ( 20th ) is placed in a real environment to be recorded, with a real image (RB) of the real environment together with the optically time-variant marker ( 20th ) is recorded by means of a camera, the position of a virtual image component (VIRT) being determined in relation to the real image (RB) recorded by the camera, and the virtual image component (VIRT) being augmented with at least part of the real image (RB) -Reality Image (ARB) is combined.

Der Artikel von Hugo Alvarez, Iker Aguinaga und Dierro Borro: „Providing guidance for maintenance operations using automatic markerless augmented reality system“ in 2011, 10th IEEE International Symposium on Mixed and Augmented Reality, IEEE 2011, S. 181-190 schlägt ein neues Echtzeit-Augmented Reality-Tool vor, das bei der Demontage für Wartungsarbeiten hilft. Der Prototyp ist ein komplettes Framework charakterisiert durch seine Fähigkeit automatisch alle notwendigen Daten basierend auf 3D untexturierten triangle meshes aus der Eingabe zu generieren, ohne dass der Benutzer zusätzliche Eingriffe benötigt. Eine automatische Offline-Stufe extrahiert die geometrischen Grundmerkmale. Diese werden während der Online-Phase verwendet, um die Kamerapose aus einem monokularen Bild zu berechnen. Somit können die üblichen texturlosen 3D Modelle verarbeitet werden, die in Industrieanwendungen verwendet werden. Zur kontinuierlichen Aktualisierung der Kamerapose wurde außerdem ein selbstversorgtes und robustes markerloses Tracking-System entwickelt, das einen Kanten-Tracker, einen Punkt-basierten Tracker und einen 3D-Partikelfilter kombiniert. Das Framework beinhaltet zudem ein automatisches Trassenplanungsmodul. In der Offline-Phase wird die Montage-/Demontage-Sequenz automatisch aus der Geometrie des 3D Modells abgeleitet. Diese Information wird verwendet, um die Demontageanweisungen für die Mitarbeiter zu generieren.The article by Hugo Alvarez, Iker Aguinaga and Dierro Borro: "Providing guidance for maintenance operations using automatic Markerless augmented reality system" in 2011, 10 th IEEE International Symposium on Mixed and Augmented Reality, IEEE 2011 , Pp. 181-190 proposes a new real-time augmented reality tool that helps with dismantling for maintenance work. The prototype is a complete framework characterized by its ability to automatically generate all necessary data based on 3D untextured triangle meshes from the input, without the user needing additional intervention. An automatic offline stage extracts the basic geometric features. These are used during the online phase to calculate the camera pose from a monocular image. This means that the usual textureless 3D models that are used in industrial applications can be processed. To continuously update the camera position, a self-sufficient and robust markerless tracking system was developed that combines an edge tracker, a point-based tracker and a 3D particle filter. The framework also includes an automatic route planning module. In the offline phase, the assembly / disassembly sequence is automatically derived from the geometry of the 3D model. This information is used to generate the dismantling instructions for the employees.

Es ist Aufgabe der Erfindung, eine verbesserte Unterstützung bei Training, Schulung, Reparatur, Wartung, Instandhaltung und/oder Herstellung, insbesondere von Kraftfahrzeugen, anzubieten.It is the object of the invention to offer improved support for training, instruction, repair, servicing, maintenance and / or manufacture, in particular of motor vehicles.

Vorgenannte Aufgabe wird durch die Ansprüche gelöst. Dabei wird unter anderem zur Darstellung eines virtuellen Bildbestandteils auf einem Display, vorzugsweise einem transparenten Display, mittels einer realen Kamera ein reales Bild eines realen Objektes aufgenommen , das (gemeint ist das reale Objekt) ein Betrachter bei Durchsicht durch das transparente Display sieht, wobei in Abhängigkeit des realen Bildes ein Kantenbild des realen Bildes bzw. des realen Objektes generiert wird, wobei in Abhängigkeit des Kantenbildes ein virtueller Bildbestandteil (insbesondere aus einer Datenbasis bzw. aus einer Mehrzahl virtueller Bildbestandteile) ausgewählt wird, und wobei der ausgewählte virtuelle Bildbestandteil mittels des transparenten Displays (insbesondere zur Ergänzung und/oder Überblendung des realen Objektes) dargestellt wird.The aforementioned problem is solved by the claims. Among other things, it is used to represent of a virtual image component on a display, preferably a transparent display, a real image of a real object is recorded by means of a real camera, which (meaning the real object) a viewer sees when looking through the transparent display, with an edge image depending on the real image of the real image or the real object is generated, with a virtual image component (in particular from a database or from a plurality of virtual image components) being selected as a function of the edge image, and the selected virtual image component using the transparent display (in particular to supplement and / or fading of the real object) is displayed.

Dabei wird weiterhin mittels einer realen Kamera ein reales Bild eines realen Objektes aufgenommen, wobei in Abhängigkeit des realen Bildes ein Kantenbild des realen Bildes bzw. des realen Objektes generiert wird, wobei in Abhängigkeit des Kantenbildes ein virtueller Bildbestandteil (insbesondere aus einer Datenbasis bzw. aus einer Mehrzahl virtueller Bildbestandteile) ausgewählt wird, wobei der ausgewählte virtuelle Bildbestandteil mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild kombiniert wird, und wobei das Augmented-Reality-Bild mittels des Displays dargestellt wird.A real image of a real object is recorded by means of a real camera, an edge image of the real image or the real object being generated as a function of the real image, with a virtual image component (in particular from a database or from a plurality of virtual image components) is selected, wherein the selected virtual image component is combined with at least part of the real image to form an augmented reality image, and the augmented reality image is shown by means of the display.

Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen umfassen oder aus solchen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen sowie einen farblichen Hintergrund für diese Zeichen umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann aus alphanumerische Zeichen in Verbindung mit einem farblichen Hintergrund für diese Zeichen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Zeichnung sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Skizze sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann ein Icon sein oder ein solches umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Animation sein oder eine solche umfassen.A virtual image component within the meaning of the invention can comprise or consist of alphanumeric characters. A virtual image component within the meaning of the invention can include alphanumeric characters and a colored background for these characters. A virtual image component within the meaning of the invention can consist of alphanumeric characters in connection with a colored background for these characters. A virtual image component within the meaning of the invention can be or comprise a drawing. A virtual image component within the meaning of the invention can be or comprise a sketch. A virtual image component within the meaning of the invention can be or comprise an icon. A virtual image component within the meaning of the invention can be or comprise an animation.

Ein transparentes Display ist ein Durchsichtdisplay. Ein Display bzw. ein transparentes Display im Sinne der Erfindung ist insbesondere ein Matrix-Display. Ein Display bzw. ein transparentes Display im Sinne der Erfindung ist insbesondere ein Display mit einer Mehrzahl bzw. einer Vielzahl individuell ansteuerbarer Pixel.A transparent display is a see-through display. A display or a transparent display in the sense of the invention is in particular a matrix display. A display or a transparent display in the sense of the invention is in particular a display with a plurality or a plurality of individually controllable pixels.

Ein reales Objekt im Sinne der der Erfindung ist insbesondere ein Kraftfahrzeug oder eine Komponente eines Kraftfahrzeuges. Ein Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.A real object within the meaning of the invention is in particular a motor vehicle or a component of a motor vehicle. A motor vehicle within the meaning of the invention is in particular a land vehicle that can be used individually in road traffic. Motor vehicles within the meaning of the invention are in particular not restricted to land vehicles with internal combustion engines.

Eine Kamera im Sinne der Erfindung kann insbesondere eine Gruppe von Kameras bzw. eine Kameraanordnung sein. Eine Kamera im Sinne der Erfindung kann insbesondere eine Anordnung von zwei RGB-Kameras sein. Eine Kamera im Sinne der Erfindung kann auch eine RGBD-Kamera sein. Ein Kantenbild im Sinne der Erfindung ist insbesondere beschränkt auf die Kanten eines abgebildeten Gegenstands. Ein Kantenbild im Sinne der Erfindung umfasst insbesondere im Wesentlichen nur Kanten eines abgebildeten Gegenstandes.A camera within the meaning of the invention can in particular be a group of cameras or a camera arrangement. A camera within the meaning of the invention can in particular be an arrangement of two RGB cameras. A camera within the meaning of the invention can also be an RGBD camera. An edge image within the meaning of the invention is particularly limited to the edges of an object depicted. An edge image in the sense of the invention comprises in particular essentially only edges of an object depicted.

In vorteilhafter Ausgestaltung der Erfindung wird - zum Auswählen des virtuellen Bildbestandteils in Abhängigkeit des Kantenbildes - das Kantenbild mit einer Mehrzahl Vergleichskantenbildern verglichen, denen jeweils zumindest ein virtueller Bildbestandteil zugeordnet ist, wobei der virtuelle Bildbestandteil ausgewählt wird, dessen zugeordnetes Vergleichskantenbild dem Kantenbild entspricht, im Wesentlichen entspricht, ähnlich ist, hinreichend ähnlich ist, im Wesentlichen ähnlich ist oder am ähnlichsten ist. Eine Mehrzahl von Vergleichskantenbildern umfasst insbesondere zumindest zwei Vergleichskantenbilder. Eine Mehrzahl von Vergleichskantenbildern kann eine Untermenge einer Vielzahl von Vergleichskantenbildern sein, wobei bei dieser Vielzahl von Vergleichskantenbildern nicht jedem Vergleichskantenbild ein virtueller Bildbestandteil zugeordnet ist. Dagegen ist bei der Untermenge der Mehrzahl der Vergleichskantenbilder jedem Vergleichskantenbild ein virtueller Bildbestandteil zugeordnet. Die Zuordnung zwischen virtuellen Bildbestandteilen und Vergleichskantenbildern kann indirekt erfolgen, zum Beispiel über einen Bauzustand. So kann zum Beispiel vorgesehen sein, dass in einer Datenbasis verschiedenen Bauzuständen Vergleichskantenbilder zugeordnet sind und in einer anderen Datenbasis diesen Bauzuständen virtuelle Bildbestandteile zugeordnet sind. In diesem Falle wird zunächst ein Bauzustand in Abhängigkeit des Kantenbildes durch Vergleich mit Vergleichskantenbildern ermittelt. Anschließend wird der zu dem ausgewählten Bauzustand korrespondierende virtuelle Bildbestandteil ausgewählt.In an advantageous embodiment of the invention - to select the virtual image component as a function of the edge image - the edge image is compared with a plurality of comparison edge images, each of which is assigned at least one virtual image component, the virtual image component being selected whose assigned comparison edge image corresponds to the edge image, essentially corresponds to, is similar, is sufficiently similar, is substantially similar, or is most similar. A plurality of comparison edge images comprises in particular at least two comparison edge images. A plurality of comparison edge images can be a subset of a plurality of comparison edge images, with this plurality of comparison edge images not being assigned a virtual image component to each comparison edge image. In contrast, in the subset of the majority of the comparison edge images, a virtual image component is assigned to each comparison edge image. The association between virtual image components and comparison edge images can take place indirectly, for example via a state of construction. For example, it can be provided that comparison edge images are assigned to different construction stages in one database and virtual image components are allocated to these construction stages in another database. In this case, a construction status is first determined as a function of the edge image by comparison with comparison edge images. The virtual image component corresponding to the selected construction stage is then selected.

In weiterhin vorteilhafter Ausgestaltung der Erfindung werden die Vergleichskantenbilder mittels eines, insbesondere mathematischen, Modells des realen Objektes generiert. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird ein Vergleichskantenbild mittels eines, insbesondere mathematischen, Modells des realen Objektes generiert. Ein Modell im Sinne der Erfindung ist insbesondere ein CAD-Modell.In a further advantageous embodiment of the invention, the comparison edge images are generated by means of a, in particular mathematical, model of the real object. In a further advantageous embodiment of the invention, a comparison edge image is generated by means of a, in particular mathematical, model of the real object. A model within the meaning of the invention is in particular a CAD model.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Display oder das transparente Display Teil eines Headsets. Dabei ist insbesondere vorgesehen, dass das Headset auch die Kamera umfasst. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Display oder das transparente Display Teil eines Handhelds. Dabei ist insbesondere vorgesehen, dass das Handheld auch die Kamera umfasst. Ein Handheld im Sinne der Erfindung kann zum Beispiel ein Tablet sein.In a further advantageous embodiment of the invention, the display or the transparent display is part of a headset. In particular, it is provided that the headset also includes the camera. In a further advantageous embodiment of the invention, the display or the transparent display is part of a handheld. In particular, it is provided that the handheld also includes the camera. A handheld in the sense of the invention can be a tablet, for example.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist ein Tracking vorgesehen, zum Bestimmen der Ausrichtung bzw. der Position des transparenten Displays zum realen Objekt. Das Tracking erfolgt insbesondere markerlos. Geeignete markerlose Trackingverfahren können zum Beispiel der DE 10 2012 014 995 A1 entnommen werden. In weiterhin vorteilhafter Ausgestaltung der Erfindung erfolgt das Tracking in Abhängigkeit des Kantenbildes.In a further advantageous embodiment of the invention, tracking is provided to determine the alignment or the position of the transparent display with respect to the real object. Tracking takes place in particular without a marker. Suitable markerless tracking methods can, for example, be the DE 10 2012 014 995 A1 can be removed. In a further advantageous embodiment of the invention, tracking takes place as a function of the edge image.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs gelöst, wobei auf dem Display oder dem transparenten Display ein virtueller Bildbestandteil gemäß einem vorgenannten Verfahren dargestellt wird, und wobei eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils erfolgt. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird nach der erfolgten Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils automatisch der „nächste“ virtuelle Bildbestandteil mittels des Displays bzw. mittels des transparenten Displays dargestellt bzw. angezeigt. Der „nächste“ virtuelle Bildbestandteil ist dabei der virtuelle Bildbestandteil, der dem Bauzustand nacherfolgter Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entspricht.The aforementioned object is also achieved by a method for servicing, maintaining, repairing or manufacturing a motor vehicle, a virtual image component being shown on the display or the transparent display according to an aforementioned method, and a measure for maintaining, servicing, repairing or manufacturing a Motor vehicle takes place according to the specification of the virtual image component. In a further advantageous embodiment of the invention, after the maintenance, servicing, repair or manufacture of a motor vehicle has been carried out, the “next” virtual image component is automatically represented or displayed by means of the display or by means of the transparent display in accordance with the specification of the virtual image component. The “next” virtual image component is the virtual image component that corresponds to the construction status of the subsequent measure for servicing, maintenance, repair or manufacture of a motor vehicle.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:

  • 1 ein Ausführungsbeispiel eines Systems zur Darstellung eines virtuellen Bildbestandteils,
  • 2 ein Ausführungsbeispiel für einen Anzeigerechner gemäß 1,
  • 3 ein Ausführungsbeispiel für ein Kraftfahrzeug mit einer geschlossenen Frontklappe,
  • 4 ein Ausführungsbeispiel für ein Kantenbild eines Kraftfahrzeugs im Zustand gemäß 3,
  • 5 ein Ausführungsbeispiel für ein Kraftfahrzeug mit einer geschlossenen Frontklappe,
  • 6 ein Ausführungsbeispiel für ein Kantenbild eines Kraftfahrzeugs im Zustand gemäß 5,
  • 7 ein Ausführungsbeispiel für eine Sicht durch ein transparentes Display auf ein Kraftfahrzeug,
  • 8 die Sicht gemäß 7, ergänzt um virtuelle Bildbestandteile,
  • 9 ein Ausführungsbeispiel für ein Verfahren zur Erstellung einer Datenbasis mit Vergleichskantenbildern,
  • 10 ein Ausführungsbeispiel für ein Verfahren zum Betrieb eines Systems gemäß 1 zur Darstellung eines virtuellen Bildbestandteils und
  • 11 ein Ausführungsbeispiel für ein zum System gemäß 1 alternatives System zur Darstellung eines virtuellen Bildbestandteils.
Further advantages and details emerge from the following description of exemplary embodiments. Show:
  • 1 an embodiment of a system for displaying a virtual image component,
  • 2 an embodiment for a display computer according to 1 ,
  • 3 an embodiment for a motor vehicle with a closed front flap,
  • 4th an exemplary embodiment for an edge image of a motor vehicle in the state according to FIG 3 ,
  • 5 an embodiment for a motor vehicle with a closed front flap,
  • 6th an exemplary embodiment for an edge image of a motor vehicle in the state according to FIG 5 ,
  • 7th an exemplary embodiment for a view of a motor vehicle through a transparent display,
  • 8th the view according to 7th , supplemented by virtual image components,
  • 9 an embodiment of a method for creating a database with comparison edge images,
  • 10 an embodiment of a method for operating a system according to 1 for displaying a virtual image component and
  • 11th an embodiment of a to the system according to 1 alternative system for displaying a virtual image component.

1 zeigt ein System zur Darstellung eines virtuellen Bildbestandteils VIRT. Das System umfasst ein von einem Benutzer 1 getragenes Headset 10 mit einem transparenten Display 11 (Durchsichtdisplay) zur Darstellung des virtuellen Bildbestandteils VIRT. Der virtuelle Bildbestandteil VIRT wird mittels eines Anzeigerechners 20 an einer bestimmten Stelle positioniert, so dass er an dieser Stelle mittels des transparenten Displays 11 anzeigbar ist. Die Überlagerung zwischen Realität und virtuellem Bildbestandteil VIRT erfolgt dabei im Auge 100 des Benutzers 1. 1 shows a system for displaying a virtual image component VIRT. The system includes a user 1 worn headset 10 with a transparent display 11th (See-through display) for displaying the virtual image component VIRT. The virtual image component VIRT is displayed by means of a display computer 20th positioned at a certain point, so that it is at this point by means of the transparent display 11th can be displayed. The superimposition between reality and the virtual image component VIRT takes place in the eye 100 of the user 1 .

2 zeigt den Anzeigerechner 20 in detaillierterer Darstellung. Dabei bezeichnet Bezugszeichen 24 ein Kraftfahrzeug als reales Objekt, das mittels eines virtuellen Bildbestandteils VIRT virtuell erweitert werden soll. Dazu ist eine Kameraanordnung 15 vorgesehen, die ein reales Bild RB des Kraftfahrzeugs 24 aufnimmt. Die Kameraanordnung kann zum Beispiel zwei RGB-Kameras oder eine RGBD-Kamera umfassen. Mittels eines Kantenbestimmungsmoduls 25 wird aus dem realen Bild RB bzw. dem in dem realen Bild RB abgebildeten Kraftfahrzeug 24 ein Kantenbild KANT erzeugt, wie es beispielhaft in 4 und 6 dargestellt ist. 3 zeigt dabei das Kraftfahrzeug 24 mit geschlossener Frontklappe, und 4 zeigt das aus dem Bild gemäß 3 erzeugte Kantenbild KANTE. 5 zeigt das Kraftfahrzeug 24 ohne Frontklappe, und 6 zeigt das zu dem Bild des Kraftfahrzeugs 24 gemäß 5 korrespondierende Kantenbild KANTE, also das aus dem Bild gemäß 5 erzeugte Kantenbild KANTE. 2 shows the display calculator 20th in more detail. Denotes reference numerals 24 a motor vehicle as a real object that is to be expanded virtually by means of a virtual image component VIRT. There is also a camera arrangement 15th provided that a real image RB of the motor vehicle 24 records. The camera arrangement can for example comprise two RGB cameras or one RGBD camera. By means of an edge determination module 25th becomes from the real image RB or the motor vehicle depicted in the real image RB 24 creates an edge image KANT, as exemplified in 4th and 6th is shown. 3 shows the motor vehicle 24 with the front flap closed, and 4th shows that from the picture according to 3 generated edge image EDGE. 5 shows the motor vehicle 24 without front flap, and 6th shows that to the picture of the motor vehicle 24 according to 5 Corresponding edge image EDGE, i.e. the one from the image according to 5 generated edge image EDGE.

Das Kantenbild KANTE wird mittels eines Vergleichsmoduls 26 mit in einer Datenbasis 22 gespeicherten Vergleichskantenbildern verglichen. Dabei ist jedem Vergleichskantenbild der Datenbasis 22 ein Bauzustand BZ zugeordnet. Bei hinreichender Übereinstimmung des Kantenbildes KANTE mit einem der Vergleichskantenbilder aus der Datenbasis 22, wird der entsprechende Bauzustand BZ einem Auswahlmodul 27 zugeführt. Das Auswahlmodul 27 wählt aus einer Datenbasis 21 ein zum ermittelten Bauzustand BZ korrespondierendes virtuelles Bild VIRT sowie dessen gewünschte Position PVIRT (in Bezug auf das reale Objekt bzw. das Kraftfahrzeug 24) aus einer Datenbasis 21 aus. Mittels eines Moduls 28 erfolgt das Tracking des Displays 11 sowie das Rendering des virtuellen Bildbestandteils VIRT. Dazu wird in Abhängigkeit des Kantenbildes KANTE die Position des transparenten Displays 11 zum Kraftfahrzeug 24 ermittelt (Tracking). In Abhängigkeit der Position des transparenten Displays 11 in Bezug auf das Kraftfahrzeug 24 wird das transparente Display 11 derart angesteuert, dass der virtuelle Bildbestandteil VIRT an der Position PVIRT' dargestellt wird, sodass der virtuelle Bildbestandteil VIRT das Kraftfahrzeug 24 an der gewünschten Position PVIRT überlagert.The edge image EDGE is calculated using a comparison module 26th with in one database 22nd stored comparison edge images compared. Each comparison edge image is the database 22nd assigned to a construction stage BZ. If the edge image EDGE agrees sufficiently with one of the comparison edge images from the database 22nd , the corresponding construction stage BZ becomes a selection module 27 fed. The selection module 27 selects from a database 21 a virtual image VIRT corresponding to the determined construction status BZ and its desired position PVIRT (in relation to the real object or the motor vehicle 24 ) from a database 21 the end. By means of a module 28 the display is tracked 11th as well as the rendering of the virtual image component VIRT. For this purpose, the position of the transparent display is dependent on the edge image EDGE 11th to the motor vehicle 24 determined (tracking). Depending on the position of the transparent display 11th in relation to the motor vehicle 24 becomes the transparent display 11th controlled in such a way that the virtual image component VIRT is displayed at the position PVIRT ', so that the virtual image component VIRT is the motor vehicle 24 superimposed at the desired position on PVIRT.

8 zeigt ein Ausführungsbeispiel für ein virtuelles Bild VIRT, das mittels des transparenten Displays 11 dargestellt wird. Zum Vergleich zeigt 7 die Sicht des Benutzers 1 durch das transparente Display 11 auf das Kraftfahrzeug 24 ohne einen virtuellen Bildbestandteil VIRT. In 8 sind zu dieser Sicht gemäß 7 die mittels des Displays 11 dargestellten virtuellen Bildbestandteile VIRT hinzugefügt. In dem Ausführungsbeispiel gemäß 8 sind dazu zwei Schrauben bzw. deren Position farbig eingefärbt und am oberen Rand des Displays der Text „Vier Schrauben links und rechts hinter der Wartungsklappe herausdrehen.“ eingeblendet. Sowohl das farbliche Einfärben der Schrauben als auch die Einblendung des vorgenannten Textes sind Ausführungsbeispiele für virtuelle Bildbestandteile im Sinne der Ansprüche. 8th shows an exemplary embodiment for a virtual image VIRT that is generated by means of the transparent display 11th is pictured. For comparison shows 7th the user's point of view 1 through the transparent display 11th on the motor vehicle 24 without a virtual image component VIRT. In 8th are in accordance with this view 7th by means of the display 11th added virtual image components VIRT. In the embodiment according to 8th For this purpose, two screws or their positions are colored in color and the text "Unscrew four screws on the left and right behind the maintenance flap." is displayed on the upper edge of the display. Both the coloring of the screws and the display of the aforementioned text are exemplary embodiments for virtual image components within the meaning of the claims.

9 zeigt schematisch ein Ausführungsbeispiel zum Erzeugen der Datenbasis 22. Dazu werden aus einem CAD-Modell 31 des Kraftfahrzeugs 24 mittels eines Kantenkonvertierungsmoduls 30 die Vergleichskantenbilder der verschiedenen Bauzustände BZ generiert und in der Datenbasis 22 abgelegt. 9 shows schematically an embodiment for generating the database 22nd . For this purpose, a CAD model 31 of the motor vehicle 24 by means of an edge conversion module 30th the comparative edge images of the various construction stages BZ are generated and stored in the database 22nd filed.

10 zeigt ein Ausführungsbeispiel eines Verfahrens zum Betrieb des in 1 dargestellten Systems zur Darstellung eines virtuellen Bildbestandteils VIRT. Dabei wird zunächst in einem Schritt 51 mittels des Kantenbestimmungsmoduls 25 aus dem realen Bild RB ein Kantenbild KANTE erzeugt. In einer anschließenden Abfrage 52 wird mittels des Vergleichsmoduls 26 überprüft, ob es eine Übereinstimmung zwischen dem Kantenbild KANTE und einem i-ten (beginnend mit i = 1) Vergleichskantenbild der Datenbasis 22 gibt. Bei fehlender Übereinstimmung folgt der Abfrage 52 eine Abfrage 53, ob i seinen Maximalwert erreicht hat, es somit mit keinem der Vergleichskantenbilder eine Übereinstimmung des Kantenbildes KANTE gibt. Gibt es keine Übereinstimmung mit irgendeinem der Vergleichskantenbilder, so folgt der Abfrage 53 ein Schritt 54, in dem mittels des Vergleichsmoduls 26 eine Fehlermeldung F erzeugt wird. Hat i seinen Maximalwert nicht erreicht, so folgt der Schritt 59, in dem i inkrementiert (i = i + 1) wird, so dass das Kantenbild KANTE mit dem nächsten Vergleichskantenbild verglichen wird. 10 shows an embodiment of a method for operating the in 1 system shown for displaying a virtual image component VIRT. This is initially done in one step 51 by means of the edge determination module 25th an edge image EDGE is generated from the real image RB. In a subsequent query 52 is made using the comparison module 26th checks whether there is a match between the edge image EDGE and an i-th (starting with i = 1) comparison edge image in the database 22nd gives. If they do not match, the query follows 52 a query 53 whether i has reached its maximum value, so that there is no match of the edge image EDGE with any of the comparison edge images. If there is no match with any of the comparison edge images, the query follows 53 a step 54 , in which by means of the comparison module 26th an error message F is generated. If i has not reached its maximum value, the step follows 59 , in which i is incremented (i = i + 1) so that the edge image EDGE is compared with the next comparison edge image.

Bei hinreichender Übereinstimmung zwischen dem überprüften Vergleichskantenbild mit dem Kantenbild KANTE folgt der Abfrage 52 ein Schritt 55, in dem der virtuelle Bildbestandteil VIRT ausgewählt wird, der dem Kantenbild KANTE bzw. dem korrespondierenden Bauzustand BZ entspricht. Dem Schritt 55 folgt ein Schritt 56, in dem in Abhängigkeit des Kantenbildes KANTE ein Tracking erfolgt, in Abhängigkeit dessen die Position PVIRT des virtuellen Bildbestandteils in Bezug auf das reale Objekt Kraftfahrzeug 24 in eine Position PVIRT' des virtuellen Bildbestandteils VIRT auf dem Display 11 transformiert wird. Dem Schritt 56 folgt ein Schritt 57, in dem der virtuelle Bildbestandteil VIRT mittels des Displays 11 dargestellt wird. Dem Schritt 57 folgt ein Schritt 58, in dem die Wartungs-, Instandhaltungs-, Reparatur- oder Herstellungsmaßnahme durchgeführt wird, die der virtuelle Bildbestandteil VIRT beschreibt. Anschließend folgt wiederum der Schritt 51.If there is sufficient correspondence between the checked comparison edge image and the edge image EDGE, the query follows 52 a step 55 , in which the virtual image component VIRT is selected, which corresponds to the edge image EDGE or the corresponding construction stage BZ. The step 55 a step follows 56 , in which tracking takes place as a function of the edge image EDGE, as a function of which the position PVIRT of the virtual image component in relation to the real object motor vehicle 24 into a position PVIRT 'of the virtual image component VIRT on the display 11th is transformed. The step 56 a step follows 57 , in which the virtual image component VIRT by means of the display 11th is pictured. The step 57 a step follows 58 , in which the maintenance, repair, repair or manufacturing measure is carried out which the virtual image component VIRT describes. Then the step follows again 51 .

11 zeigt ein zu dem System gemäß 1 und 2 alternatives System zur Darstellung eines virtuellen Bildbestandteils VIRT mittels eines Tablets 11A. Anstelle der Überlagerung eines Abbildes des realen Objektes, wie dem Kraftfahrzeug 24, mit einem virtuellen Bildbestandteil VIRT im Auge 100 eines Betrachters 1, wird ein ausgewählter virtueller Bildbestandteil VIRT mit zumindest einem Teil des realen Bildes RB zu einem Augmented-Reality-Bild ARB kombiniert. 11th shows a for the system according to FIG 1 and 2 alternative system for displaying a virtual image component VIRT by means of a tablet 11A . Instead of superimposing an image of the real object, such as the motor vehicle 24 , with a virtual image component VIRT in mind 100 of a viewer 1 , a selected virtual image component VIRT is combined with at least part of the real image RB to form an augmented reality image ARB.

Claims (8)

Verfahren zur Darstellung eines virtuellen Bildbestandteils (VIRT) auf einem transparenten Display (11), wobei mittels einer realen Kamera ein reales Bild (RB) eines realen Objektes aufgenommen wird, das ein Betrachter bei Durchsicht durch das transparente Display (11) sieht, wobei in Abhängigkeit des realen Bildes (RB) ein Kantenbild (KANTE) des realen Objektes generiert wird, wobei in Abhängigkeit des Kantenbildes (KANTE) ein virtueller Bildbestandteil (VIRT) ausgewählt wird, und wobei der ausgewählte virtuelle Bildbestandteil (VIRT) mittels des transparenten Displays (11) dargestellt wird, wobei zum Auswählen des virtuellen Bildbestandteils (VIRT) in Abhängigkeit des Kantenbildes (KANTE) das Kantenbild (KANTE) mit einer Mehrzahl Vergleichskantenbildern verglichen wird, denen jeweils zumindest ein virtueller Bildbestandteil zugeordnet ist, wobei der virtuelle Bildbestandteil (VIRT) ausgewählt wird, dessen zugeordnetes Vergleichskantenbild dem Kantenbild (KANTE) entspricht, im Wesentlichen entspricht, ähnlich ist, hinreichend ähnlich ist, im Wesentlichen ähnlich ist oder am ähnlichsten ist.Method for displaying a virtual image component (VIRT) on a transparent display (11), a real image (RB) of a real object being recorded by means of a real camera, which a viewer sees when looking through the transparent display (11), in Depending on the real image (RB), an edge image (EDGE) of the real object is generated, a virtual image component (VIRT) being selected as a function of the edge image (EDGE), and the selected virtual image component (VIRT) using the transparent display (11 ), whereby to select the virtual image component (VIRT) depending on the edge image (EDGE), the edge image (EDGE) is compared with a plurality of comparison edge images, each of which is assigned at least one virtual image component, the virtual image component (VIRT) being selected whose assigned comparison edge image corresponds to the edge image (EDGE), in Substantially corresponds to, is similar, is sufficiently similar, is substantially similar, or is most similar. Verfahren zur Darstellung eines virtuellen Bildbestandteils (VIRT) auf einem Display (11A), wobei mittels einer realen Kamera ein reales Bild (RB) eines realen Objektes aufgenommen wird, wobei in Abhängigkeit des realen Bildes (RB) ein Kantenbild (KANTE) des realen Objektes generiert wird, wobei in Abhängigkeit des Kantenbildes (KANTE) ein virtueller Bildbestandteil (VIRT) ausgewählt wird, wobei der ausgewählte virtuelle Bildbestandteil (VIRT) mit zumindest einem Teil des realen Bildes (RB) zu einem Augmented-Reality-Bild (ARB) kombiniert wird, und wobei das Augmented-Reality-Bild (ARB) mittels des Displays (11A) dargestellt wird, wobei zum Auswählen des virtuellen Bildbestandteils (VIRT) in Abhängigkeit des Kantenbildes (KANTE) das Kantenbild (KANTE) mit einer Mehrzahl Vergleichskantenbildern verglichen wird, denen jeweils zumindest ein virtueller Bildbestandteil zugeordnet ist, wobei der virtuelle Bildbestandteil (VIRT) ausgewählt wird, dessen zugeordnetes Vergleichskantenbild dem Kantenbild (KANTE) entspricht, im Wesentlichen entspricht, ähnlich ist, hinreichend ähnlich ist, im Wesentlichen ähnlich ist oder am ähnlichsten ist.Method for displaying a virtual image component (VIRT) on a display (11A), a real image (RB) of a real object being recorded by means of a real camera, an edge image (EDGE) of the real object depending on the real image (RB) is generated, with a virtual image component (VIRT) being selected as a function of the edge image (EDGE), the selected virtual image component (VIRT) being combined with at least part of the real image (RB) to form an augmented reality image (ARB) , and wherein the augmented reality image (ARB) is shown by means of the display (11A), the edge image (EDGE) being compared with a plurality of comparison edge images to select the virtual image component (VIRT) as a function of the edge image (EDGE) at least one virtual image component is assigned in each case, with the virtual image component (VIRT) being selected whose assigned comparison edge image corresponds to the Ka image (EDGE) corresponds to, substantially corresponds to, is similar, is sufficiently similar, is substantially similar, or is most similar. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Vergleichskantenbilder mittels eines, insbesondere mathematischen, Modells des realen Objektes generiert werden, oder dass ein Vergleichskantenbild mittels eines, insbesondere mathematischen, Modells des realen Objektes generiert wird.Procedure according to Claim 1 or 2 , characterized in that the comparison edge images are generated by means of a, in particular mathematical, model of the real object, or that a comparison edge image is generated by means of an, in particular mathematical, model of the real object. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Vergleichskantenbilder aus einem, insbesondere mathematischen, Modell des realen Objektes generiert werden, oder dass ein Vergleichskantenbild aus einem, insbesondere mathematischen, Modell des realen Objektes generiert wird.Procedure according to Claim 1 or 2 , characterized in that the comparison edge images are generated from a, in particular mathematical, model of the real object, or that a comparison edge image is generated from an, in particular mathematical, model of the real object. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Display (11A) oder das transparente Display (11) Teil eines Headsets ist.Method according to one of the preceding claims, characterized in that the display (11A) or the transparent display (11) is part of a headset. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Display (11A) oder das transparente Display (11) Teil eines Handhelds ist.Method according to one of the preceding claims, characterized in that the display (11A) or the transparent display (11) is part of a handheld. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das die Position (PVIRT') des virtuellen Bildbestandteils (VIRT) auf dem Display (11A) oder auf dem transparenten Display (11) in Abhängigkeit des Kantenbildes (KANTE) ermittelt wird.Method according to one of the preceding claims, characterized in that the position (PVIRT ') of the virtual image component (VIRT) on the display (11A) or on the transparent display (11) is determined as a function of the edge image (EDGE). Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs, dadurch gekennzeichnet, dass auf einem Display (11A) oder einem transparenten Display (11) ein virtueller Bildbestandteil (VIRT) gemäß einem Verfahren nach einem der vorhergehenden Ansprüche dargestellt wird, und dass eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils (VIRT) erfolgt.A method for servicing, maintaining, repairing or manufacturing a motor vehicle, characterized in that a virtual image component (VIRT) is shown on a display (11A) or a transparent display (11) according to a method according to one of the preceding claims, and that a measure for servicing, maintenance, repair or manufacture of a motor vehicle according to the specification of the virtual image component (VIRT) takes place.
DE102014217718.9A 2014-09-04 2014-09-04 Method for operating an augmented reality system Active DE102014217718B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014217718.9A DE102014217718B4 (en) 2014-09-04 2014-09-04 Method for operating an augmented reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014217718.9A DE102014217718B4 (en) 2014-09-04 2014-09-04 Method for operating an augmented reality system

Publications (2)

Publication Number Publication Date
DE102014217718A1 DE102014217718A1 (en) 2016-03-10
DE102014217718B4 true DE102014217718B4 (en) 2021-12-02

Family

ID=55358388

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014217718.9A Active DE102014217718B4 (en) 2014-09-04 2014-09-04 Method for operating an augmented reality system

Country Status (1)

Country Link
DE (1) DE102014217718B4 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
DE102006004731A1 (en) 2006-02-02 2007-08-09 Bayerische Motoren Werke Ag Camera position and/or orientation determining method for virtual or augmented reality system, involves detecting real-image object, and determining camera position and/or orientation based on reference image objects and real-image object
DE102006005044B4 (en) 2006-02-03 2011-01-27 Metaio Gmbh Method and system for determining a data model for superposition with a real object in an object tracking method
DE102009040848A1 (en) 2009-10-05 2011-04-07 Volkswagen Ag Augmented-reality-images generating method for determining relative position between sensor and surface of object e.g. component of land vehicle, involves providing optical time variable marker with display for displaying information
DE102012014995A1 (en) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
DE102006004731A1 (en) 2006-02-02 2007-08-09 Bayerische Motoren Werke Ag Camera position and/or orientation determining method for virtual or augmented reality system, involves detecting real-image object, and determining camera position and/or orientation based on reference image objects and real-image object
DE102006005044B4 (en) 2006-02-03 2011-01-27 Metaio Gmbh Method and system for determining a data model for superposition with a real object in an object tracking method
DE102009040848A1 (en) 2009-10-05 2011-04-07 Volkswagen Ag Augmented-reality-images generating method for determining relative position between sensor and surface of object e.g. component of land vehicle, involves providing optical time variable marker with display for displaying information
DE102012014995A1 (en) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALVAREZ, Hugo; AGUINAGA, Iker; BORRO, Diego: Providing guidance for maintenance operations using automatic markerless augmented reality system. In: 2011 10th IEEE International Symposium on Mixed and Augmented Reality, IEEE, 2011, S. 181-190
ONG, S. K.; YUAN, M. L.; NEE, A. Y. C.: Augmented reality applications in manufacturing: a survey; 2008, Int'l j. prod. research, Vol. 46(10): 2707-2742; doi: 10.1080/00207540601064773

Also Published As

Publication number Publication date
DE102014217718A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
DE102015015503B4 (en) Robotic system having an augmented reality compatible display
DE102014006732B4 (en) Image overlay of virtual objects in a camera image
DE102018110742A1 (en) Method and device for servicing and / or repairing a construction machine
DE102012014995A1 (en) Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data
EP3281178A1 (en) Method for displaying an area surrounding a vehicle
DE102011013760A1 (en) Method for relaying information through augmented reality in connection with road vehicle, involves detecting command to specify selected function or selected object of road vehicle, where map reflecting portion of road vehicle is detected
DE102014226554A1 (en) Identification and repair support apparatus and method
DE102009008039A1 (en) Augmented reality image producing method for manufacturing technical component of land vehicle, involves selecting color and/or texture of virtual image component, and comparing component with part of real image to augmented reality image
DE102011122206A1 (en) Method for representation of virtual image component i.e. augmented reality image, on transparent display of augmented reality system, involves determining position of component, and representing virtual image component by display
DE102009040848B4 (en) Procedure for operating an augmented reality system
DE102015215613A1 (en) Method for operating an augmented reality system
DE102012005880A1 (en) Method for designing production environment e.g. workstation, involves recording sequence of movements of worker during production of performing action and evaluating sequence of movements of predetermined criterion
DE102014217718B4 (en) Method for operating an augmented reality system
DE102006048869A1 (en) Projection arrangement e.g. trolley, for e.g. car, has laser projection system representing design on surface of motor vehicle or component of motor vehicle dependent on image of motor vehicle or component
DE102018218611A1 (en) Method and computing device for generating a three-dimensional CAD model
DE102022214330A1 (en) Method for generating at least one ground truth from a bird's eye view
EP3616140A1 (en) System for supporting teamwork by means of augmented reality
DE112020003788T5 (en) Peripheral video generation apparatus, peripheral video generation method, and program
DE102020126954A1 (en) System and method for detecting a spatial orientation of a portable device
DE102019200806A1 (en) Process for identifying replacement parts for manufacturing machines
DE102018128184A1 (en) Method, device, computer program and computer program product for generating a labeled image
EP3754544A1 (en) Detection system, work method and training method
EP3179325B1 (en) Workplace
DE102020203297B4 (en) Method and device for displaying information in an augmented reality application
DE202014009214U1 (en) Medium and computer program product for single and multi-axis 360 ° / three-dimensional scanning of objects, in particular in connection with augmented reality technological methods and applications

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R008 Case pending at federal patent court
R009 Remittal by federal patent court to dpma for new decision or registration
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final