DE102009056013A1

DE102009056013A1 - Method for generating augmented-reality image, involves receiving actual image of actual environment by camera

Info

Publication number: DE102009056013A1
Application number: DE102009056013A
Authority: DE
Inventors: Christian Bade; Andreas Hoffmeyer; Ulrich Rautenberg; Peter Dr. Ing. Bohling; Cord Dr. Ing. Busche
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2009-09-09
Filing date: 2009-11-27
Publication date: 2011-03-10

Abstract

The method involves receiving an actual image of an actual environment by a camera. The position of the virtual image component is determined to the real image according to an arrangement of a fixed camera-reference point for tracker. The camera-reference point is connected with the camera. The arrangement of the camera-reference point is determined or measured by the tracker. The real image is received by the camera. Independent claims are also included for the following: (1) a method for manufacturing technical components, particularly motor vehicles or motor vehicle components; and (2) an augmented-reality system for executing an augmented-reality image generating method.

Description

Die Erfindung betrifft ein System und ein Verfahren zum Erzeugen eines Augmented-Reality-Bildes sowie ein Augmented-Reality-System bzw. ein Verfahren zum Betrieb eines Augmented-Reality-Systems. Die Erfindung betrifft dabei insbesondere den Einsatz von Augmented-Reality-Technik in Verbindung mit Fertigungsanlagen. Dabei begrenzen insbesondere fehlerhafte beziehungsweise nicht vorhandene dreidimensionale Modelle bestehender Hallenstrukturen und Fertigungsanlagen die Potenziale der Digitalen Fabrik. Weiterhin verlieren vorhandene Layouts aufgrund der Dynamik eines Fabriksystems schnell an Aktualität. Die Augmented-Reality-Technologie bietet als Schnittstelle zwischen virtueller und realer Welt großes Potenzial, diesen Anforderungen gerecht zu werden. Mit dieser Technologie lässt sich die visuelle Wahrnehmung des Anwenders um virtuelle Informationen anreichern, in dem beispielsweise 3D-Modelle von Fabrikobjekten Lagerichtig und perspektivisch korrekt in reale Fabrikhallen eingeblendet werden.The invention relates to a system and a method for generating an augmented reality image and to an augmented reality system or a method for operating an augmented reality system. The invention relates in particular to the use of augmented reality technology in connection with production facilities. In particular, faulty or nonexistent three-dimensional models of existing hall structures and production facilities limit the potential of the digital factory. Furthermore, existing layouts quickly lose their topicality due to the dynamics of a factory system. Augmented reality technology, as an interface between the virtual and the real world, offers great potential to meet these requirements. With this technology, the visual perception of the user can be enriched with virtual information, in which, for example, 3D models of factory objects can be displayed correctly and in perspective correctly in real factory halls.

Anwendungsfelder für Augmented-Reality-Technologie können z. B. Störkantenanalysen, Konzeptplanungen, Soll/Ist-Vergleiche, Bauteilüberprüfung und Planungsworkshops sein. Störkantenanalysen ermöglichen die Überprüfung der Freigängigkeit neuer Produkte in bestehenden Fertigungs- oder Transportsystemen, noch bevor erste Produktprototypen existieren. Die Konzeptplanung dient in erster Linie der Entscheidungsfindung und Verifikation von Planungsständen in bestehenden Gebäudestrukturen. Bei Umplanungen werden Soll/Ist-Vergleiche durchgeführt, welche digitale Planungsdaten als Grundlage für die Änderungsmaßnahme verifiziert. Dies geschieht für Betriebsmittel und mit leicht geändertem Systemsetup auch für Bauteildaten. Die Augmented-Reality-Unterstützung von Planungsworkshops ermöglicht mehreren Anwendern in kurzer Zeit interaktiv verschiedene Varianten von Fertigungslayouts zu entwickeln und zu bewerten.Fields of application for augmented reality technology can be: Interference edge analysis, concept planning, target / actual comparisons, component verification and planning workshops. Interference edge analysis enables the review of the freedom of movement of new products in existing production or transport systems, even before the first product prototypes exist. Concept planning primarily serves the decision-making and verification of planning statuses in existing building structures. During rescheduling, target / actual comparisons are performed, which verify digital planning data as the basis for the change measure. This happens for resources and with slightly changed system setup also for component data. The augmented reality support of planning workshops enables several users to interactively develop and evaluate different variants of production layouts in a short time.

Die EP 0 949 513 A2 offenbart ein Augmented-Reality-System mit einem Trackersystem zur Bestimmung der Relativposition zwischen einem Sensor zur Bestimmung eines Musters von Bezugspunkten auf einer Objektoberfläche und der Objektoberfläche, wobei das Augmented-Reality-System einen Prozessor umfasst, der mit dem Sensor verbunden ist.The EP 0 949 513 A2 discloses an augmented reality system having a tracker system for determining the relative position between a sensor for determining a pattern of reference points on an object surface and the object surface, the augmented reality system including a processor connected to the sensor.

Die WO 01/96829 A1 offenbart ein Verfahren zur Automobilproduktion, wobei ein Prüfer bei der Durchführung einer Prüfung im Hinblick auf Qualitätsmängel eines Kraftfahrzeugs oder einer Kraftfahrzeug-Komponente durch ein Augmented-Reality-System unterstützt wird, welches prüfungsrelevante Daten aufnimmt und/oder an den Prüfer ausgibt, wobei die Prüfung im Rahmen der Fertigung des Kraftfahrzeugs oder der Kraftfahrzeug-Komponente zum Feststellen von Qualitätsmängeln bei dem Kraftfahrzeug oder der Kraftfahrzeug-Komponente in zumindest einem vorbestimmten Fertigungszustand erfolgt, wobei einem Werker bei der Durchführung einzelner, der Prüfung vorgelagerter Fertigungsschritte zur Fertigung weiterer Kraftfahrzeuge oder Kraftfahrzeug-Komponenten über das Augmented-Reality-System ein auf zumindest einem der festgestellten Qualitätsmängel basierender Vorsichtshinweis zugeführt wird, und wobei einem Nachbearbeiter bei der Durchführung einer der Prüfung nachgeschalteten Nachbearbeitung eines mangelbehafteten Kraftfahrzeugs oder einer mangelbehafteten Kraftfahrzeug-Komponente eine auf den jeweils festgestellten Qualitätsmängeln basierende Fehlerinformation über das Augmented-Reality-System zugeführt wird.The WO 01/96829 A1 discloses a method for automobile production wherein an examiner is assisted in performing a quality or performance defect test of an automotive or automotive component by an augmented reality system that captures and / or outputs test-relevant data to the examiner in the context of the production of the motor vehicle or the motor vehicle component for detecting quality defects in the motor vehicle or the motor vehicle component in at least one predetermined manufacturing state, wherein a worker in the implementation of individual, the test upstream manufacturing steps for the production of other motor vehicles or automotive components a cautionary note based on at least one of the identified quality deficiencies is supplied via the augmented reality system, and wherein a post-processing person is required to perform a post-processing post-processing lated motor vehicle or a defective motor vehicle component based on the respectively identified quality defects based error information is supplied via the augmented reality system.

Gemäß der WO 01/96829 A1 ist der Begriff Augmented-Reality als Überlagerung einer realen Umgebung mit einer rechnergenerierten Umgebung, d. h. einer virtuellen Welt, definiert. Augmented-Reality ist somit eine Art der Mensch-Technik-Interaktion, die dem Anwender Informationen in sein Sichtfeld einblendet und so seine Wahrnehmung erweitert.According to the WO 01/96829 A1 the term augmented reality is defined as a superposition of a real environment with a computer-generated environment, ie a virtual world. Augmented reality is thus a kind of human-technology interaction that fills in the user's information in his field of vision and thus expands his perception.

Die DE 10 2005 045 973 A1 offenbart eine Vorrichtung mit einer Bilderfassungseinheit zur Erfassung einer realen Umgebung und Generierung von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich und mit Verarbeitungsmitteln zur Bestimmung von Bewegungsinformationen durch Auswertung der Abbilder, wobei die Bewegungsinformationen eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes innerhalb der Abbilder kennzeichnen, und wobei Sendemittel zum Senden der Bewegungsinformationen an eine Datenverarbeitungseinrichtung und Empfangsmittel zum Empfang von auf Basis der Bewegungsinformationen generierten Poseninformationen, wobei die Poseninformationen eine Position und eine Orientierung des Objektes kennzeichnen, vorgesehen sind.The DE 10 2005 045 973 A1 discloses a device having an image capture unit for detecting a real environment and generating images of an environmental region detected within a time interval and processing means for determining motion information by evaluating the images, the motion information being a change within the time interval of the position of an object within the images and transmitting means are provided for transmitting the movement information to a data processing device and receiving means for receiving pose information generated on the basis of the movement information, wherein the pose information characterizes a position and an orientation of the object.

Die EP 1 507 235 A1 offenbart ein Verfahren zum Erzeugen eines kombinierten Bildes oder Videos, das virtuelle Objekte aufweist. Dabei ist vorgesehen, dass ein Marker mit Positionserkennungsmitteln, insbesondere einem GPS, ausgestattet ist.The EP 1 507 235 A1 discloses a method of creating a combined image or video having virtual objects. It is provided that a marker with position detection means, in particular a GPS, is equipped.

Es ist Aufgabe der Erfindung, ein Augmented-Reality-System im Bezug auf große Arbeitsbereiche bzw. Produktions- und Fertigungsanlagen zu verbessern bzw. verbessert zu betreiben.It is the object of the invention to improve or improve the operation of an augmented reality system in relation to large work areas or production and production facilities.

Vorgenannte Aufgabe wird durch ein Verfahren zum Erzeugen eines Augmented-Reality-Bildes gelöst, wobei ein reales Bild einer realen Umgebung mittels einer Kamera aufgenommen wird, wobei die Position eines virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild bestimmt wird, wobei der virtuelle Bildbestandteil mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild kombiniert wird, und wobei die Position des virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild in Abhängigkeit einer mittels eines Trackers, insbesondere eines Lasertrackers, gemessenen bzw. bestimmen Ausrichtung eines starr mit der Kamera verbundenen Kamera-Referenzpunktes zum Tracker bestimmt wird. Ein Lasertracker ist ein Messgerät, das durch die Kombination aus Winkelmessung und interferometrischer Laser-Distanzmessung die 3D-Punktkoordinaten eines Objektes erfasst.The above object is achieved by a method for generating an augmented reality image, wherein a real image of a real environment is detected by means of a camera, wherein the position of a virtual image component is determined to the captured by the camera real image, wherein the virtual image component is combined with at least a portion of the real image to an augmented reality image, and wherein the position of the virtual Image components to the captured by the camera real image as a function of a means of a tracker, in particular a laser tracker, measured or determined orientation of a rigidly connected to the camera camera reference point to the tracker is determined. A laser tracker is a measuring device that captures the 3D point coordinates of an object through the combination of angle measurement and interferometric laser distance measurement.

Ein virtueller Bildbestandteil im Sinne der Erfindung ist insbesondere ein digitales dreidimensionales Modell einer Fertigungseinrichtung bzw. einer Fertigungsumgebung oder eines Teils einer Fertigungseinrichtung bzw. einer Fertigungsumgebung. Eine Fertigungsumgebung im Sinne der Erfindung kann zum Beispiel eine Fabrikhalle sein.A virtual image component within the meaning of the invention is in particular a digital three-dimensional model of a production device or a production environment or a part of a production device or a manufacturing environment. A manufacturing environment in the sense of the invention can be, for example, a factory building.

Eine starre Verbindung zwischen dem Tracker und der Kamera kann zum Beispiel durch ein mechanisches Bauteil, wie etwa eine Platte, implementiert werden. Ein Tracker und eine Kamera sind im Sinne der Erfindung insbesondere dann starr miteinander verbunden, wenn ihre Ausrichtung zueinander bekannt und/oder fest ist. Ein Tracker und eine Kamera sind insbesondere dann im Sinne der Erfindung miteinander starr verbunden, wenn sie fest miteinander verbunden sind. Dabei kann der Kamerareferenzpunkt unmittelbar auf der Kamera angeordnet sein oder Teil der Kamera selbst sein. Ein Kamerareferenzpunkt im Sinne der Erfindung ist insbesondere ein mittels eines Trackers erkennbarer Punkt. Ein Kamerareferenzpunkt im Sinne der Erfindung kann auch ein Teil der Kamera selbst sein, wie etwa eine Ecke oder ein anderes charakteristisches Merkmal. Der Kamerareferenzpunkt und die Kamera sind insbesondere in unmittelbarer Nähe zueinander angeordnet.A rigid connection between the tracker and the camera may be implemented, for example, by a mechanical component such as a disk. A tracker and a camera are in the context of the invention in particular rigidly connected to each other, if their orientation to each other known and / or fixed. A tracker and a camera are in particular in the sense of the invention rigidly connected to each other when they are firmly connected. In this case, the camera reference point can be arranged directly on the camera or be part of the camera itself. A camera reference point in the sense of the invention is in particular a point which can be recognized by means of a tracker. A camera reference point within the meaning of the invention may also be a part of the camera itself, such as a corner or other characteristic feature. The camera reference point and the camera are arranged in particular in close proximity to each other.

Es ist insbesondere vorgesehen, dass der Tracker und die Kamera räumlich voneinander getrennt und/oder zueinander bewegbar angeordnet sind. Insbesondere ist vorgesehen, dass der Tracker und die Kamera nicht mechanisch miteinander bzw. nicht starr mechanisch miteinander verbunden sind.It is provided in particular that the tracker and the camera are spatially separated from each other and / or arranged to be movable relative to one another. In particular, it is provided that the tracker and the camera are not mechanically connected to each other mechanically or rigidly.

In vorteilhafter Ausgestaltung der Erfindung bildet das reale Bild und/oder das Augmented-Reality-Bild eine Umgebung mit einer Grundfläche von mehr als 300 m² ab. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Grundfläche der durch das reale Bild und/oder das Augmented-Reality-Bild abgebildeten Umgebung ein Quadrat mit einer Seitenlänge von mehr als 20 m, insbesondere von mehr als 30 m. Dabei ist insbesondere vorgesehen, dass die Grundfläche größer ist als ein Quadrat mit einer Seitenlänge von mehr als 20 m bzw. 30 m.In an advantageous embodiment of the invention, the real image and / or the augmented reality image forms an environment with a footprint of more than 300 m ² . In a further advantageous embodiment of the invention, the base area of the environment imaged by the real image and / or the augmented reality image comprises a square with a side length of more than 20 m, in particular more than 30 m. It is provided in particular that the base area is larger than a square with a side length of more than 20 m or 30 m.

In weiterhin vorteilhafter Ausgestaltung der Erfindung wird mittels des Trackers die Ausrichtung zumindest dreier Umgebungs-Referenzpunkte der aufzunehmenden Umgebung zum Tracker gemessen bzw. bestimmt, wobei die Position der zumindest drei Umgebungs-Referenzpunkte bekannt ist, und wobei vorteilhafterweise vorgesehen ist, dass die Position des Tracker in Abhängigkeit der Ausrichtung der zumindest drei Umgebungs-Referenzpunkte der aufzunehmenden Umgebung zum Tracker bestimmt wird.In a further advantageous embodiment of the invention, the orientation of at least three environmental reference points of the male environment is measured or determined by the tracker to the tracker, wherein the position of the at least three environmental reference points is known, and wherein it is advantageously provided that the position of the tracker is determined as a function of the orientation of the at least three environmental reference points of the recorded environment to the tracker.

In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der Kamera-Referenzpunkt bewegt und – in weiterhin vorteilhafter Ausgestaltung der Erfindung – der Raumwinkel der Bewegung des Kamera-Referenzpunktes (insbesondere mittels eines, vorteilhafterweise mechanischen, Drehwinkel-Sensors) gemessen.In a further advantageous embodiment of the invention, the camera reference point is moved and - in a further advantageous embodiment of the invention - the solid angle of movement of the camera reference point (in particular by means of a, advantageously mechanical, rotation angle sensor) measured.

In weiterhin vorteilhafter Ausgestaltung der Erfindung wird die Position und die Ausrichtung der Kamera und/oder die Position und die Ausrichtung des mittels Kamera aufgenommenen realen Bildes in Abhängigkeit des oder eines gemessenen Raumwinkels der Bewegung des Kamera-Referenzpunktes, der Position des Trackers und/oder der Ausrichtung des Kamera-Referenzpunktes zum Tracker bestimmt.In a further advantageous embodiment of the invention, the position and orientation of the camera and / or the position and orientation of the captured by camera real image depending on or a measured solid angle of movement of the camera reference point, the position of the tracker and / or the Orientation of the camera reference point to the tracker.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – zudem durch ein Verfahren zum Erzeugen eines Augmented-Reality-Bildes gelöst, wobei ein reales Bild einer realen Umgebung mittels einer Kamera aufgenommen wird, wobei die Position eines virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild bestimmt wird, wobei der virtuelle Bildbestandteil mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild kombiniert wird, und wobei das reale Bild und/oder das Augmented-Reality-Bild eine Umgebung mit einer Grundfläche von mehr als 300 m² abbildet, und/oder dass das reale Bild und/oder das Augmented-Reality-Bild eine Umgebung mit einer Grundfläche abbildet, die ein Quadrat mit einer Seitenlänge von mehr als 20 m, insbesondere von mehr als 30 m umfasst.The aforementioned object is also achieved, in particular in conjunction with the aforementioned features, by a method for generating an augmented reality image, wherein a real image of a real environment is recorded by means of a camera, the position of a virtual image component being recorded by means of the camera real image is determined, wherein the virtual image component is combined with at least a part of the real image to an augmented reality image, and wherein the real image and / or the augmented reality image, an environment with a floor area of more than 300 m ² and / or that the real image and / or the augmented reality image depicts an environment with a footprint that includes a square with a side length of more than 20 m, in particular more than 30 m.

Vorgenannte Aufgabe wird zudem durch ein Augmented-Reality-System, insbesondere zur Durchführung eines vorgenannten Verfahrens, gelöst, wobei das Augmented-Reality-System eine Kamera zur Aufnahme eines realen Bildes einer realen Umgebung, einen starr mit der Kamera verbundenen Kamera-Referenzpunkt, einen Tracker, insbesondere einen Lasertracker, zum Messen bzw. Bestimmen der Ausrichtung des Kamera-Referenzpunktes zum Tracker und einen Bildgenerator zur Bestimmung der Position des virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild in Abhängigkeit der Ausrichtung des Kamera-Referenzpunktes zum Tracker und zur Kombination des virtuellen Bildbestandteils mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild umfasst.The aforementioned object is additionally achieved by an augmented reality system, in particular for carrying out an aforementioned method, the augmented reality system comprising a camera for capturing a real image of a real environment, a camera reference point rigidly connected to the camera Tracker, in particular a laser tracker, for measuring or determining the orientation of the camera reference point to the tracker and an image generator for determining the position of the virtual image component to the captured by the camera real image depending on the orientation of the camera reference point to the tracker and the combination of the virtual Image component comprising at least a portion of the real image to an augmented reality image.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist der Tracker räumlich von der Kamera getrennt und/oder nicht mechanisch mit der Kamera verbunden. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Augmented-Reality-System einen Drehwinkel-Sensor zum Messen der Raumwinkel einer Bewegung des Kamera-Referenzpunktes bzw. der Kamera. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Augmented-Reality-System eine Kommunikationsverbindung zwischen der Kamera und dem Tracker und/oder zwischen dem Drehwinkel-Sensor und dem Tracker. Die Kommunikationsverbindung ist insbesondere drahtlos ausgestaltet bzw. umfasst einen drahtlosen Anteil. Die Kommunikationsverbindung ist insbesondere als WLAN ausgestaltet bzw. umfasst eine WLAN-Verbindung.In a further advantageous embodiment of the invention, the tracker is spatially separated from the camera and / or not mechanically connected to the camera. In a further advantageous embodiment of the invention, the augmented reality system comprises a rotation angle sensor for measuring the solid angle of a movement of the camera reference point or the camera. In a further advantageous embodiment of the invention, the augmented reality system comprises a communication link between the camera and the tracker and / or between the rotation angle sensor and the tracker. The communication connection is designed in particular wirelessly or comprises a wireless portion. The communication connection is designed in particular as WLAN or comprises a WLAN connection.

Es ist eine weitere Aufgabe der Erfindung, die Kosten zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, zu senken.It is a further object of the invention to reduce the costs for producing a technical component, in particular a motor vehicle or a motor vehicle component.

Vorgenannte Aufgabe wird durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei ein Montageablauf und/oder eine Montagevorrichtung zum Montieren eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß einem Verfahren mit vorgenannten Merkmalen ermittelt und/oder verifiziert bzw. herstellt und/oder verifiziert wird, und wobei das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug und/oder in der Kraftfahrzeugkomponente entsprechend dem Montageablauf oder mittels der Montagevorrichtung montiert wird.The aforementioned object is achieved by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein an assembly process and / or a mounting device for mounting a component to be mounted by means of the virtual image component determined and / or verified according to a method with the aforementioned features or is manufactured and / or verified, and wherein the component to be mounted is mounted in the technical component, in the motor vehicle and / or in the motor vehicle component according to the assembly process or by means of the mounting device.

Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.Motor vehicle in the sense of the invention is in particular a land vehicle which can be used individually in road traffic. Motor vehicles according to the invention are not limited in particular to land vehicles with internal combustion engine.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen: Further advantages and details emerge from the following description of exemplary embodiments. Showing:

1 ein Ausführungsbeispiel eines Augmented-Reality-Systems in einer Prinzipdarstellung, 1 An embodiment of an augmented reality system in a schematic representation,

2 ein Ausführungsbeispiel eines Messwagens, 2 an embodiment of a measuring carriage,

3 ein Ausführungsbeispiel eines Verfahrens zum Betrieb eines Augmented-Reality-Systems gemäß 1, 3 An embodiment of a method for operating an augmented reality system according to 1 .

4 ein Ausführungsbeispiel für ein reales Bild, 4 an embodiment for a real picture,

5 ein Ausführungsbeispiel für ein Augmented-Reality-Bild, 5 an embodiment of an augmented reality image,

6 ein weiteres Ausführungsbeispiel für ein reales Bild, 6 another embodiment of a real image,

7 ein weiteres Ausführungsbeispiel für ein reales Augmented-Reality-Bild. 7 another embodiment of a real augmented reality image.

1 zeigt ein Augmented-Reality-System 1, das einen in 2 detailliert dargestellten Messwagen 10 umfasst. Auf dem Messwagen 10 ist eine Kamera 6 zur Aufnahme eines realen Bildes RB einer realen Umgebung 1 montiert. Die Kamera 6 umfasst ein Objektiv mit fester Brennweite und insbesondere einer Auflösung von 1920 Pixel × 1080 Pixel. Der Messwagen 10 umfasst zudem eine Platte 7, mittels der die Kamera 6 und ein Kamera-Referenzpunkt R starr miteinander verbunden sind. Die Platte 7 und damit der Kamera-Referenzpunkt R und die Kamera 6 sind, insbesondere elektromotorisch, in drei Raumrichtungen schwenkbar, wobei das Augmented-Reality-System 1 einen Drehwinkelsensor 5 zum Messen der Raumwinkel RW der durch das Schwenken erzeugten Bewegung umfasst. 1 shows an augmented reality system 1 having a in 2 detailed measuring car 10 includes. On the measuring car 10 is a camera 6 for capturing a real image RB of a real environment 1 assembled. The camera 6 includes a lens with fixed focal length and in particular a resolution of 1920 pixels × 1080 pixels. The measuring car 10 also includes a plate 7 , by means of the camera 6 and a camera reference point R are rigidly connected to each other. The plate 7 and thus the camera reference point R and the camera 6 are, in particular electromotive, pivotable in three spatial directions, the augmented reality system 1 a rotation angle sensor 5 for measuring the solid angle RW comprises the movement generated by the pivoting.

Das Augmented-Reality-System umfasst zudem einen Lasertracker 2 zum Messen bzw. Bestimmen der Ausrichtung des Kamera-Referenzpunktes R zum Lasertracker 2 sowie einen Bildgenerator 3 zur Bestimmung der Position des virtuellen Bildbestandteils VIRT zu dem mittels der Kamera 6 aufgenommen realen Bild RB in Abhängigkeit der Ausrichtung des Kamera-Referenzpunktes R zum Lasertracker 2 und zur Kombination des virtuellen Bildbestandteils VIRT mit zumindest einem Teil des realen Bildes RB zu einem Augmented-Reality-Bild ARB. Entsprechende virtuelle Bilder VIRT bzw. entsprechende Modelle sind zum Beispiel in einem Speicher 8 abgelegt oder aus einer anderen Datenquelle auslesbar.The augmented reality system also includes a laser tracker 2 for measuring or determining the orientation of the camera reference point R to the laser tracker 2 as well as an image generator 3 for determining the position of the virtual image component VIRT to that by means of the camera 6 recorded real image RB depending on the orientation of the camera reference point R to the laser tracker 2 and combining the virtual image component VIRT with at least a portion of the real image RB into an augmented reality image ARB. Corresponding virtual images VIRT or corresponding models are for example in a memory 8th filed or read from another data source.

3 zeigt ein Verfahren zum Betrieb eines Augmented-Reality-Systems gemäß 1. Das Verfahren beginnt mit einem Schritt 21, in dem das virtuelle Bild (3D-Modell einer Fertigungsanlage bzw. eines Untersuchungsbereichs einer Fertigungsanlage) so aufbereitet wird, dass das Ursprungs-Koordinatensystem des virtuellen Bildes mit dem realen Ursprung kongruent ist. Anschließend folgt ein Schritt 22, in dem der Lasertracker 2 und der Messwaagen 10 in der aufzunehmenden Umgebung 1 bzw. deren Nähe platziert werden. Es folgt ein Schritt 23, in dem zumindest drei Umgebungs-Referenzpunkte P1, P2, P3 in der Umgebung 1, die zum Beispiel eine Halle sein kann, definiert werden, wobei die Lage der zumindest drei Umgebungs-Referenzpunkte zum Ursprungs-Koordinatensystem bekannt ist. 3 shows a method for operating an augmented reality system according to 1 , The process begins with a step 21 in which the virtual image (3D model of a production facility or a research area of a production facility) is processed in such a way that the origin coordinate system of the virtual image is congruent with the real origin. This is followed by a step 22 in which the laser tracker 2 and the scales 10 in the environment to be recorded 1 or their proximity are placed. It follows a step 23 in which at least three environmental reference points P1, P2, P3 in the environment 1 , which may be a hall, for example, where the location of the at least three environmental reference points to the origin coordinate system is known.

Dem Schritt 23 folgt ein Schritt 24, in dem mittels des Lasertracker 2 die Ausrichtung des Lasertrackers im Bezug auf die Umgebungs-Referenzpunkte P1, P2, P3 ermittelt wird. Dem Schritt 24 folgt ein Schritt 25, in dem die Position POSL des Lasertracker 2 in Abhängigkeit seiner gemessenen Ausrichtung zu den Umgebungs-Referenzpunkten P1, P2, P3 sowie deren Koordinaten bestimmt und an den Messwagen 10 übertragen wird.The step 23 follows a step 24 in which by means of the laser tracker 2 the orientation of the laser tracker with respect to the environmental reference points P1, P2, P3 is determined. The step 24 follows a step 25 , in which the POSL position of the laser tracker 2 determined as a function of its measured orientation to the environmental reference points P1, P2, P3 and their coordinates and to the measuring carriage 10 is transmitted.

Dem Schritt 25 folgt ein Schritt 26, in dem die Ausrichtung des Lasertrackers 2 zum Kamera-Referenzpunkt R ermittelt wird. Dazu verfolgt der Lasertracker 2 den Kamera-Referenzpunkt R mit einem Laserstrahl und berechnet kontinuierlich die 3D-Koordinaten (also die Position POSR des Kamera-Referenzpunktes R) in Bezug auf seinen Ursprung. Die Position POSR des Kamera-Referenzpunktes R sendet ein WLAN-Modul zum Messwagen 10. Bei vorgenannter Messung wird der Kamera-Referenzpunkt R elektromotorisch bewegt und zum Lasertracker 2 ausgerichtet, während der Drehwinkel-Sensor 5 den Raumwinkel RW (Orientierung) des Kamera-Referenzpunktes R und damit der Kamera 6 im Raum ermittelt. Über die bekannte und feste Beziehung zwischen dem Kamera-Referenzpunkt R und der Kamera 6 wird die Orientierung (Raumwinkel RW) der Kamera 6 bestimmt und an den Bildgenerator 3 übertragen. In Abhängigkeit des so ermittelten Raumwinkels RW der Kamera 6 und der Position POSR des Kamera-Referenzpunktes R bzw. der Kamera 6 wird die Ausrichtung des virtuellen Bildbestandteils VIRT zum realen Bild RB ermittelt und entsprechend zu einem Augmented-Reality-Bild ARB kombiniert. Das Augmented-Reality-Bild ARB wird mittels eines Displays 4 dargestellt.The step 25 follows a step 26 in which the orientation of the laser tracker 2 to the camera reference point R is determined. To do this, follow the laser tracker 2 the camera reference point R with a laser beam and continuously calculates the 3D coordinates (that is, the position POSR of the camera reference point R) with respect to its origin. The POSR position of the camera reference point R sends a WLAN module to the measuring carriage 10 , In the aforementioned measurement, the camera reference point R is moved by an electric motor and becomes a laser tracker 2 aligned while the rotation angle sensor 5 the solid angle RW (orientation) of the camera reference point R and thus of the camera 6 determined in the room. About the known and fixed relationship between the camera reference point R and the camera 6 becomes the orientation (solid angle RW) of the camera 6 determined and to the image generator 3 transfer. Depending on the thus determined solid angle RW of the camera 6 and the position POSR of the camera reference point R or the camera 6 the orientation of the virtual image component VIRT to the real image RB is determined and combined in accordance with an augmented reality image ARB. The augmented reality image ARB is displayed by means of a display 4 shown.

Der Messwagen 10 kann nun frei in der aufzunehmenden Umgebung 1 bewegt werden. Darüber hinaus kann auch die Kamera 6 in unterschiedliche Richtungen gedreht werden. Der virtuelle Bildbestandteil VIRT wird (in Abhängigkeit der aktuell ermittelten Position der Kamera 6 bzw. des Kamera-Referenzpunktes R) automatisch an das sich entsprechend ändernde aufgenommene reale Bild RB angepasst und mit diesem zum Augmented-Reality-Bild ARB kombiniert.The measuring car 10 can now be free in the recording environment 1 to be moved. In addition, the camera can also 6 be turned in different directions. The virtual image component VIRT is (depending on the currently determined position of the camera 6 or the camera reference point R) automatically adapted to the correspondingly changing recorded real image RB and combined with this to the augmented reality image ARB.

4 zeigt ein Ausführungsbeispiel eines realen Bildes RB einer Fabrikhalle. 5 zeigt das korrespondierte Augmented-Reality-Bild ARB. In dem dargestellten Beispiel soll ermittelt werden, inwieweit das dem virtuellen Bild VIRT zugrundeliegende Modell den realen Bedingungen entspricht. Durch die Überlagerung von realem Bild RB und virtuellem Bild VIRT ist es möglich zu erkennen, dass an der mit dem mit Bezugszeichen 31 gekennzeichneten Kreis in dem virtuellen Bild VIRT zugrundeliegenden Modell ein Stahlträger fehlt, wohingegen an dem mit Bezugszeichen 32 bezeichneten Kreis das dem virtuellen Bild VIRT zugrundeliegende Modell einen Stahlträger aufweist, der real nicht vorhanden ist. 6 zeigt ein weiteres Ausführungsbeispiel eines realen Bildes und 7 das korrespondierte Augmented-Reality-Bild ARB. 4 shows an embodiment of a real image RB a factory hall. 5 shows the corresponding augmented reality image ARB. In the illustrated example, it should be determined to what extent the model underlying the virtual image VIRT corresponds to the real conditions. Due to the superposition of real image RB and virtual image VIRT, it is possible to recognize that at the with the reference numeral 31 marked circle in the virtual image VIRT model underlying a steel beam is missing, whereas at the with reference numerals 32 circle referred to the virtual image VIRT underlying model has a steel beam, which is not actually present. 6 shows another embodiment of a real image and 7 the corresponding augmented reality image ARB.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: UmgebungSurroundings
22: Lasertrackerlaser Tracker
33: Bildgeneratorimage generator
44: Displaydisplay
55: Drehwinkel-SensorRotation angle sensor
66: Kameracamera
77: Platteplate
88th: Datenbasisdatabase
1010: Messwagenmeasuring carriage
21, 22, 23,21, 22, 23,
24, 25, 2624, 25, 26: Schrittstep
31, 3231, 32: Kreiscircle
ARBARB: Augmented-Reality-BildAugmented reality image
POSLPOSL: Position eines LasertrackersPosition of a laser tracker
POSRPOSR: Position eines Kamera-ReferenzpunktesPosition of a camera reference point
P1, P2, P3P1, P2, P3: Umgebungs-ReferenzpunktAmbient reference point
RR: Kamera-ReferenzpunktCamera reference point
RBRB: Reales BildReal picture
RWRW: Raumwinkelsolid angle
VIRTVIRT: Virtuelles BildVirtual picture

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 0949513 A2 [0003]
WO 01/96829 A1 [0004, 0005]
DE 102005045973 A1 [0006]
EP 1507235 A1 [0007]

Claims

Method for generating an augmented reality image (ARB), wherein a real image (RB) of a real environment ( 1 ) by means of a camera ( 6 ), wherein the position of a virtual image component (VIRT) to that by means of the camera ( 6 ) and the virtual image component (VIRT) is combined with at least part of the real image (RB) to form an augmented reality image (ARB), characterized in that the position of the virtual image component (VIRT) to the camera ( 6 ) recorded real image (RB) as a function of a tracker ( 2 ) measured or determine alignment of a rigid with the camera ( 6 ) connected camera reference point (R) to the tracker ( 2 ) is determined.

A method according to claim 1, characterized in that the real image (RB) and / or the augmented reality image (ARB) an environment ( 1 ) with a footprint of more than 300 m ² .

Method for generating an augmented reality image (ARB), wherein a real image (RB) of a real environment ( 1 ) by means of a camera ( 6 ), wherein the position of a virtual image component (VIRT) to that by means of the camera ( 6 ) and the virtual image component (VIRT) is combined with at least part of the real image (RB) to form an augmented reality image (ARB), characterized in that the real image (RB ) and / or the Augmented Reality Image (ARB) an environment ( 1 ) with a footprint of more than 300 m ² .

Method according to claim 1, 2 or 3, characterized in that the base area of the environment represented by the real image (RB) and / or the augmented reality image (ARB) ( 1 ) comprises a square with a side length of more than 20 m.

Method for generating an augmented reality image (ARB), wherein a real image (RB) of a real environment ( 1 ) by means of a camera ( 6 ), wherein the position of a virtual image component (VIRT) to that by means of the camera ( 6 ) and the virtual image component (VIRT) is combined with at least part of the real image (RB) to form an augmented reality image (ARB), characterized in that the real image (RB ) and / or the Augmented Reality Image (ARB) an environment ( 1 ) with a base area that includes a square with a side length of more than 20 m.

Method according to one of the preceding claims, characterized in that by means of the tracker ( 2 ) the orientation of at least three environmental reference points (P1, P2, P3) of the environment to be recorded ( 1 ) to the tracker ( 2 ) is measured, wherein the position of the at least three environmental reference points (P1, P2, P3) is known.

Method according to claim 6, characterized in that the position of the tracker ( 2 ) depending on the orientation of the at least three environmental reference points (P1, P2, P3) of the environment to be recorded ( 1 ) to the tracker ( 2 ) is determined.

Method according to one of the preceding claims, characterized in that the camera reference point (R) is moved.

A method according to claim 8, characterized in that the solid angle (RW) of the movement of the camera reference point (R) by means of a rotation angle sensor ( 5 ) is measured.

Method according to one of the preceding claims, characterized in that the position and the orientation of the camera ( 6 ) and / or the position and orientation of the camera ( 6 ) recorded real image (RB) depending on or a measured solid angle (RW) of the movement of the camera reference point (R), the position of the tracker ( 2 ) and / or the orientation of the camera reference point (R) to the tracker ( 2 ) is determined.

A method for producing a technical component, in particular a motor vehicle or a motor vehicle component, characterized in that an assembly process and / or a mounting device for mounting a component to be mounted by means of the virtual image component (VIRT) determined and / or according to a method according to one of the preceding claims is verified or manufactured and / or verified, and that the component to be mounted in the technical component, in the motor vehicle and / or in the motor vehicle component is mounted according to the assembly process or by means of the mounting device.

Augmented reality system, in particular for carrying out a method according to one of Claims 1 to 10, the augmented reality system comprising a camera ( 6 ) for capturing a real image (RB) of a real environment, one rigid with the camera ( 6 ) camera reference point (R), a tracker ( 2 ) for measuring or determining the Orientation of the camera reference point (R) to the tracker ( 2 ) and an image generator ( 3 ) - to determine the position of the virtual image component (VIRT) to that by means of the camera ( 6 ) real image (RB) depending on the orientation of the camera reference point (R) to the tracker ( 2 ) and - for combining the virtual image component (VIRT) with at least part of the real image (RB) to form an augmented reality image (ARB).

Augmented reality system according to claim 12, characterized in that the tracker ( 2 ) not mechanically with the camera ( 6 ) and / or that the tracker ( 2 ) spatially from camera ( 6 ) is disconnected.

Augmented reality system according to claim 12 and 13, characterized in that it comprises a rotation angle sensor ( 5 ) for measuring the solid angle (RW) of a movement of the camera reference point (R).

Augmented reality system according to claim 12, 13 and 14, characterized in that it has a communication link between the camera ( 6 ) and the tracker ( 2 ) and / or between the rotation angle sensor ( 5 ) and the tracker ( 2 ).