EP4702735A1

EP4702735A1 - Portable vorrichtung zur darstellung einer grafischen information auf einem entfernten objekt

Info

Publication number: EP4702735A1
Application number: EP24723720.9A
Authority: EP
Inventors: Peter Keitler; Nicolas Heuser
Original assignee: Extend3D GmbH
Current assignee: Extend3D GmbH
Priority date: 2023-04-27
Filing date: 2024-04-26
Publication date: 2026-03-04
Also published as: WO2024223816A1; DE102023110967A1; CN121040038A

Abstract

Eine portable Vorrichtung (10) zur Darstellung einer grafischen Information (12) auf einem entfernten Objekt (14) umfasst einen Projektor (18), insbesondere einen Videoprojektor, zum Projizieren der grafischen Information (12), eine Kamera (20) zur Erfassung der Position und/oder Lage des Objekts (14), einen semitransparenten Spiegel (22) mit einer ersten Oberfläche und einer entgegengesetzten zweiten Oberfläche, und eine Steuereinrichtung (28) zur Steuerung des Projektors (18) und der Kamera (20) sowie zur Auswertung der von der Kamera (20) erfassten Bilder. Die Vorrichtung (10) umfasst ferner ein portables Gehäuse (16), in dem wenigstens der Projektor (18), die Kamera (20) und der semitransparente Spiegel (22) untergebracht sind. Der Projektor (18), die Kamera (20) und der semitransparente Spiegel (22) sind relativ zueinander so angeordnet, dass die erste Oberfläche des semitransparenten Spiegels (22) im Strahlengang des Projektors (18) und die zweite Oberfläche des semitransparenten Spiegels (22) im Blickwinkel der Kamera (20) liegt. In einem Koaxialbereich der Vorrichtung (10) ist entweder die optische Achse (24) des vom semitransparenten Spiegel (22) durch Reflexion abgelenkten Strahlengangs des Projektors (18) koaxial mit der optischen Achse (26) des vom semitransparenten Spiegel (22) transmittierten Lichteinfalls der Kamera (20), oder die optische Achse (24) des vom semitransparenten Spiegel (22) transmittierten Strahlengangs des Projektors (18) ist koaxial mit der optischen Achse (26) des vom semitransparenten Spiegel (22) durch Reflexion abgelenkten Lichteinfalls der Kamera (20).

Description

Portable Vorrichtung zur Darstellung einer grafischen Information auf einem entfernten Objekt

Die Erfindung betrifft eine portable Vorrichtung zur Darstellung einer grafischen Information auf einem entfernten Objekt.

Aus der WO 2012/136345 A2 ist ein System zur visuellen Darstellung von Informationen auf realen Objekten mit einer Projektionseinheit zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt bekannt. Das System umfasst eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Pose (Position und Orientierung) des Objekts und eine Steuereinrichtung für die Projektionseinheit, die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Pose des Objekts anpasst und lagerichtig (oder perspektivisch) korrekt darstellt. Mit einem solchen System lässt sich die Effizienz manueller Arbeitsschritte in Fertigung, Montage und Wartung steigern und gleichzeitig die Arbeitsqualität erhöhen. Durch die präzise Übertragung von Informationen, beispielsweise des digitalen Planungsstands (CAD-Modell) direkt auf ein Werkstück, entfällt die aufwändige und fehleranfällige Übertragung von Bauplänen mittels Schablonen und anderen Messinstrumenten. Ein visueller Soll- Ist-Vergleich ist jederzeit und für einen Anwender intuitiv durchführbar. Zudem können Arbeitsanweisungen, z. B. Schritt-für-Schritt-Anleitungen, direkt am Arbeitsobjekt bzw. im Sichtfeld des Anwenders zur Verfügung gestellt werden, also genau dort, wo sie tatsächlich benötigt werden.

Aufgabe der Erfindung ist es, ein kompakteres, robustes und preisgünstiges Projektionsassistenzsystem bereitzustellen, das flexibel und vielfältig einsetzbar ist.

Gelöst wird diese Aufgabe durch eine portable Vorrichtung mit den Merkmalen des Anspruchs 1. Vorteilhafte und zweckmäßige Ausgestaltungen der erfindungsgemäßen Vorrichtung sind in den Unteransprüchen angegeben. Die erfindungsgemäße portable Vorrichtung zur Darstellung einer grafischen Information auf einem entfernten Objekt umfasst einen Projektor, insbesondere einen Videoprojektor, zum Projizieren der grafischen Information, eine Kamera zur Erfassung der Position und/oder Lage des Objekts, einen semitransparenten Spiegel mit einer ersten Oberfläche und einer entgegengesetzten zweiten Oberfläche, und eine Steuereinrichtung zur Steuerung des Projektors und der Kamera sowie zur Auswertung der von der Kamera erfassten Bilder. Die Vorrichtung umfasst ferner ein portables Gehäuse, in dem wenigstens der Projektor, die Kamera und der semitransparente Spiegel untergebracht sind. Der Projektor, die Kamera und der semitransparente Spiegel sind relativ zueinander so angeordnet, dass die erste Oberfläche des semitransparenten Spiegels im Strahlengang des Projektors und die zweite Oberfläche des semitransparenten Spiegels im Blickwinkel der Kamera liegt. In einem Koaxialbereich der Vorrichtung ist entweder die optische Achse des vom semitransparenten Spiegel durch Reflexion abgelenkten Strahlengangs des Projektors koaxial mit der optischen Achse des vom semitransparenten Spiegel transmittierten Lichteinfalls der Kamera, oder die optische Achse des vom semitransparenten Spiegel transmittierten Strahlengangs des Projektors ist koaxial mit der optischen Achse des vom semitransparenten Spiegel durch Reflexion abgelenkten Lichteinfalls der Kamera.

Unter einer „portablen Vorrichtung“ ist im Sinne der Erfindung eine Vorrichtung zu verstehen, bei der wenigstens der Projektor, die Kamera und der semitransparente Spiegel in einem gemeinsamen Gehäuse untergebracht sind, das von einem Benutzer grundsätzlich alleine getragen und an einer geeigneten Stelle platziert werden kann, ggf. auch auf einem Stativ. Selbstverständlich ist auch eine feste Installation möglich. Die Vorrichtung kann beispielsweise in eine Fertigungsumgebung integriert werden, etwa an einer Hallendecke oder an einer Traverse.

Eine „optische Achse“ ist im Zusammenhang mit der erfindungsgemäßen Vorrichtung im Wesentlichen gleichzusetzen mit der Hauptachse des jeweiligen optischen Systems (Projektor bzw. Kamera), wobei geringe Abweichungen durch ein mathematisches Modell, genauer gesagt die intrinsische Kalibrierung, abgedeckt bzw. algorithmisch korrigiert werden können. Die Hauptachse (Mittelachse) eines durch einen oder mehrere Spiegel abgelenkten Projektionskegels bzw. Lichteinfallskegels wird ebenfalls als optische Achse des entsprechenden Strahlengangs bezeichnet.

Ein „semitransparenter“ Spiegel kann unterschiedliche Transmissions-/ Reflexionseigenschaften haben. Das Verhältnis von Transmission zu Reflexion im relevanten Wellenlängenbereich kann beispielsweise etwa 50:50, 60:40, 70:30, 40:60 etc. sein, wobei natürlich keiner der beiden Anteile verschwindend gering sein darf. Es hängt vom konkreten Anwendungsfall der Vorrichtung ab, ob eine vom Verhältnis 50:50 abweichende Konfiguration besser geeignet ist, etwa um besser messen zu können oder um mehr Licht auf die Objekt-Oberfläche zu bekommen.

Für den Betrieb der Vorrichtung ist noch die Steuereinrichtung notwendig, die aus einer oder mehreren Komponenten bestehen kann. Wie später noch genauer erläutert wird, können wesentliche Komponenten der Steuereinrichtung ebenfalls im Gehäuse der Vorrichtung untergebracht oder separat außerhalb des Gehäuses vorgesehen sein, wobei in letzterem Fall die externen Komponenten mit dem Projektor, der Kamera und ggf. weiteren elektronischen Komponenten im Gehäuse der Vorrichtung verbunden werden müssen (kabelgebunden oder drahtlos).

Die Erfindung beruht auf der Erkenntnis, dass sich dank der Strahlteilung mit dem semitransparenten Spiegel ein besonders kompaktes, mobiles Projektionssystem mit einer für viele Anwendungsfälle ausreichenden Leistung realisieren lässt, bei dem eine „Hintereinanderanordnung“ von Projektor und Kamera simuliert wird. Das bedeutet, dass der Projektor und die Kamera eine identische Perspektive haben, wodurch Parallaxenfehler und Abschattungen vermieden werden.

Mit der erfindungsgemäßen Vorrichtung lassen sich eine Vielzahl von Anwendungsfeldern erschließen, wie etwa im Bereich Handwerk und Baugewerbe, beispielsweise zur korrekten Positionierung von Elektro-/ Sanitärinstallationen, oder im Industriebereich, insbesondere zur Montageunterstützung. Die erfindungsgemäße Vorrichtung ist dank des kompakten Aufbaus portabel und dank der festen und geschützten Anordnung der Komponenten in einem gemeinsamen Gehäuse auch sehr robust und damit für die vorgenannten Anwendungen bestens geeignet. Aber auch bestimmte Industrieanwendungen, wie etwa die Montage von Haltern in beengten Flugzeugrumpftonnen, lassen sich nur mit einer solchen kompakten Vorrichtung sinnvoll umsetzen.

Gemäß einem ersten Konzept sind auch wesentliche Komponenten der Steuereinrichtung im Gehäuse untergebracht. In diesem Fall ist die Vorrichtung besonders mobil, da abgesehen von der Stromversorgung (sofern kein Akkubetrieb vorgesehen ist) z. B. nur eine einfache Bedieneinrichtung oder ein Laptop oder ein Tablet für den Betrieb notwendig sind. Ansonsten sind alle für die Funktion erforderlichen Komponenten der Vorrichtung im portablen Gehäuse aufgenommen, und die Vorrichtung ist sofort einsatzbereit.

Gemäß einem zweiten Konzept sind wesentliche Komponenten der Steuereinrichtung - insbesondere die für die Steuerungslogik verantwortlichen Steuerungskomponenten - bewusst nicht im Gehäuse untergebracht. Die anderen, im Gehäuse untergebrachten Komponenten der Vorrichtung können dann noch kompakter angeordnet werden, sodass dieser Teil der Vorrichtung noch kleiner und leichter gestaltet werden kann. Außerdem hat dieses Konzept den Vorteil, dass die Steuereinrichtung flexibler gestaltet und leichter verändert werden kann. In diesem Falle ist vor dem Betrieb der Vorrichtung für eine Anbindung der zu steuernden bzw. auszuwertenden Komponenten an die außerhalb des Gehäuses vorgesehenen Komponenten der Steuereinrichtung zu sorgen.

Bei einer besonders vorteilhaften Weiterbildung der erfindungsgemäßen Vorrichtung ist im Koaxialbereich der Vorrichtung ein Scan-System mit einer durch einen Antrieb bewegbare Spiegelanordnung vorgesehen, mittels der die koaxialen optischen Achsen des Projektors und der Kamera gemeinsam in verschiedene Raumrichtungen abgelenkt werden können, wobei der Antrieb von der Steuereinrichtung gesteuert wird. Durch entsprechende Steuerung der Spiegeleinrichtung können das Projektionsfeld des Projektors und das Sichtfeld der Kamera erheblich erweitert werden. Zu beachten ist hierbei natürlich, dass die Ausleuchtung nicht gleichzeitig über den gesamten erschließbaren Bereich möglich ist. In vielen Anwendungen ist eine sequentielle Ausleuchtung jedoch völlig ausreichend. Gemäß einer ersten Variante des Scan-Systems weist die Spiegelanordnung zwei Drehspiegel und der Antrieb zwei Galvanometerantriebe auf. Diese Scan- Technik ist bewährt und ermöglicht sehr schnelle Auslenkungen.

Gemäß einer zweiten Variante des Scan-Systems weist die Spiegelanordnung nur einen um wenigstens zwei Achsen drehbaren Scan- Spiegel auf. Solche Scan-Spiegel sind für viele gängige Groß-Projektoren bereits kommerziell verfügbar, wobei das Konzept auch auf kleine Projektoren übertragbar ist.

Bei einer weiteren besonders vorteilhaften Weiterbildung der Erfindung ist im Koaxialbereich der Vorrichtung eine Objektiveinheit vorgesehen, mittels der der Strahlengang des Projektors und der Lichteinfall der Kamera automatisch fokussierbar und/oder automatisch zoombar sind (automatische Änderung der Brennweiten von Kamera und Projektor). Durch entsprechendes Verstellen der Objektiveinheit wird der Arbeitsabstand (Abstand zwischen der Vorrichtung und dem Objekt, auf das projiziert wird) nach Bedarf automatisch gewählt bzw. automatisch verändert.

Im Idealfall ist die im Koaxialbereich der Vorrichtung vorgesehene Objektiveinheit für den Anwendungszeck ausreichend, sodass der Projektor und die Kamera über keine eigenen Objektive verfügen müssen. Die Vorrichtung kann dann entsprechend einfacher und kompakter aufgebaut sein, etwa indem der DLP-Chip des Projektors sowie der CCD/CMOS-Sensor der Kamera auf den jeweiligen Achsen im Strahlengang bei konsistentem Abstand vom Objektiv positioniert werden.

Der Projektor der Vorrichtung ist bevorzugt ein Videoprojektor. Insbesondere in Verbindung mit einer bewegbaren Spiegelanordnung kann ein sehr kompakter, sog. „Pico“-Videoprojektor mit vergleichsweise geringer Lichtleistung und größerer Brennweite und damit kleinerem Projektionsfeld bei gegebenem Arbeitsabstand verwendet werden. Solche Pico-Videoprojektoren sind nicht nur preisgünstig, sondern auch sehr energieeffizient und aufgrund der kleinen Abmessungen und geringen Abwärme gut schützbar.

Als Projektor kann aber auch ein Laserprojektor, insbesondere mit einer Punktlaserquelle, verwendet werden. Bei einer alternativen, kostengünstigen Ausführungsform kommt als Projektor eine kompakte Lichtquelle zum Einsatz, die eine einfache geometrische Form projiziert, etwa einen Kreis oder ein Kreuz. Die Lichtquelle kann ein LED- Musterprojektor sein, der verschiedene Formen mittels austauschbarer Mustermasken erzeugen kann, oder eine Laserdiode, die über ein diffraktives optisches Element verschiedene Muster erzeugen kann. Insbesondere im Zusammenwirken mit einem Scan-System können im Vergleich zu einem Laserprojektor Kostenvorteile erzielt werden, da ein langsamerer Auslenkmechanismus ausreichend ist, denn mit einer Punktlaserquelle muss nicht der Eindruck einer stehenden Kontur erzielt werden, sondern lediglich das bereits von der Lichtquelle projizierte Muster auf die gewünschte Position gerichtet werden. Ein weiterer Vorteil der geringeren Beschleunigungswerte ist der geringere Verschleiß, sodass eine längere Lebensdauer erreicht werden kann. Obwohl diese Ausführungsform zwar wenig flexibel hinsichtlich der erzielbaren Projektionsinhalte ist (fest konfiguriertes bzw. wenige über Mustermasken statisch konfigurierbare Muster), ist sie für eine Vielzahl von Werkerführungsanwendungen jedoch ausreichend.

Die Kamera der Vorrichtung ist typischerweise eine herkömmliche 2D- Kamera. Bei einer anspruchsvolleren Ausführungsform kann stattdessen eine Tiefenkamera (3D-Kamera oder Time-of-flight (ToF) Kamera) zum Einsatz kommen. Mit einer solchen Kamera wird permanent und mit hoher Update-Rate eine Punktwolke auf dem jeweils anvisierten Ausschnitt auf dem Bauteil erzeugt. Die ToF-Kamera arbeitet typischerweise im Infrarotbereich (IR). Das Licht wird ausgesandt und mittels Laufzeitlängenmessung bzw. auch interferometrisch mittels Korrelation der ausgehenden mit der zurückreflektierten Lichtwelle auf dem Detektor hinsichtlich Tiefeninformation ausgewertet. Die Messung erfolgt auf einem Sensor vielen Messpunkten (Pixeln). Verfügt der Sensor über genügend Pixel, so erzeugt er auch ein 2D-Bild mit Intensitätswerten im IR-Bereich. Somit stehen 2D- und 3D- Informationen für jedes Pixel zur Verfügung.

Das 3D-Bild kann alternativ oder zusätzlich zum 2D-Kamerabild zur Auswertung herangezogen werden. “Auswertung” bezieht sich dabei auf zum einen auf “Registrierung” bzw. “Tracking” sowie auch auf “Erkennung/Prüfung der korrekten Montage von Anbauteilen”. Je nach Art des Bauteils sind 3D-Daten unter Umständen besser für diese Anwendungszwecke geeignet. Dies ist insbesondere dann der Fall, wenn das Bauteil nicht über klare und eindeutige Ecken, Kanten, Löcher oder dergleichen verfügt, welche sich im 2D-Kamerabild klar segmentieren ließen, sondern vielmehr eine homogene, stetig gekrümmte Oberfläche aufweist. Auf solchen Oberflächen können 3D Punktwolken zur “Referenzierung/T racking” einfach “eingerastet” werden, bzw. zur “Erkennung/ Prüfung” einfach mit dem 3D-Modell unmittelbar abgeglichen werden. Es ist zu beachten, dass das “Einrasten” das Vorhandensein von Elementen in allen drei Raumrichtungen erfordert; es funktioniert also nicht, z. B. auf einer planaren Tischoberfläche (weil darauf die Punktwolke beliebig verschiebbar wäre), aber sehr gut auf konvex oder konkav gekrümmten Bauteilen. Da ToF-Kameras über deutlich kleinere Auflösungen verfügen (typisch aktuell 640x480 Pixel) als herkömmliche 2D-Kameras, ist eine Ausführungsform mit Auslenkung des Sichtbereichs über eine bewegbare Spiegelanordnung mit einem oder mehreren Spiegel(n) besonders vorteilhaft, da somit auf dem jeweils anvisierten Bildbereich auf dem Bauteil dennoch eine hohe Auflösung erzielt werden kann. Im Prinzip ist dieser auf die Auflösung bezogene Vorteil ähnlich wie bei der Verwendung eines Pico-Videoprojektors und erlaubt insbesondere eine höhere Präzision.

Um die erfindungsgemäße Vorrichtung noch kompakter und günstiger zu machen, kann anstelle einer ToF-Kamera ein einfacher Laser-Distanzmesser verwendet werden, der in einer Richtung die Entfernung zum Objekt ermittelt Objekt, auf das projiziert wird. Die Entfernungsmessung kann basierend auf Laser-Laufzeitmessung oder auch Interferometrie erfolgen. Ein solcher Laser- Distanzmesser entspricht funktional - vereinfacht ausgedrückt - einer ToF- Kamera mit nur einem Pixel. Mit diesem Messprinzip kann zwar zu einem bestimmten Zeitpunkt immer nur eine Tiefenmessung vorgenommen werden; durch Auslenkung mittels eines Scan-Systems können (anstatt parallel für viele Pixel der ToF-Kamera) jedoch sequentiell unterschiedliche Raumrichtungen und damit Punkte auf der Zielumgebung angefahren werden. Eine solche Ausführungsform ist insbesondere dann von Vorteil, wenn nur wenige Punkte, etwa für die Referenzierung zum entfernten Objekt (Werkstück) oder für eine einfache Prüfung der Anwesenheit von Anbauteilen (Sitzt z. B. schon ein Stopfen im Loch?) benötigt werden. In diesem Fall können die Messpunkte selbst mit einer relativ langsamen Auslenkeinheit (unabhängig von der Anzahl der Spiegel des Scan-Systems) in hinreichend kurzer Zeit ermittelt werden. Der Projektor der erfindungsgemäßen Vorrichtung kann auch mehrere unterschiedliche Projektoreinheiten umfassen, nämlich eine Video- Projektoreinheit und/oder eine Pico-Videoprojektoreinheit und/oder eine Laserprojektoreinheit und/oder eine LED-Musterprojektoreinheit und/oder eine Laserdiodeneinheit. Mit einem solchen multifunktionalen Projektor kann das für die jeweilige Anwendung am besten geeignete Projektionsverfahren wahlweise einzeln zum Einsatz kommen, oder es kann eine Kombination unterschiedlicher Projektoreinheiten gleichzeitig verwendet werden, was darüber hinaus neue Anwendungsmöglichkeiten eröffnet, die mit einer einzelnen Projektoreinheit nicht realisierbar wären.

Eine besonders vorteilhafte Kombination ergibt sich insbesondere mit einer einfachen LED-Musterprojektoreinheit und einer Laserprojektoreinheit mit einer Punktlaserquelle mit diffraktivem optischem Element. Eine Vorrichtung mit diesen beiden Projektoreinheiten stellt eine ultra-kompakte und extrem preisgünstige Lösung zur Werkerführung für etwas weniger dynamische Kontexte dar. Die LED-Musterprojektoreinheit und der Tiefensensor werden dabei entweder über den semi-transparenten Spiegel in einen Strahlgang eingekoppelt (wie bei den anderen bereits beschriebenen Varianten auch), wobei die Punktlaserquelle mithilfe der Steuereinrichtung gleichzeitig für eine Laufzeitmessung bzw. eine inteferometrische Messung mitverwendet werden kann, also diesen Funktionsteil eines Laser-Distanzmessers übernehmen kann. Im Falle der interferometrischen Messung wird dabei das Laserlicht ebenfalls mittels des als Strahlteiler fungierenden semitransparenten Spiegels auf getrennte optische Pfade geführt - zur Erfüllung der unterschiedlichen Funktionen - und am jeweiligen Pfadende dann durch zusätzliche Spiegel reflektiert und letztlich wieder zusammengeführt.

Es ist auch möglich, mehrere, insbesondere unterschiedliche Kameras, etwa eine 2D- und eine 3D-Kamera, oder wenigstens eine Kamera, insbesondere eine 2D-Kamera, zusammen mit einem Laser-Distanzmesser in der Vorrichtung vorzusehen. Auf diese Weise lässt sich das Funktionsspektrum der Vorrichtung erheblich erweitern.

Gemäß einer besonderen Ausführungsform ist der semitransparente Spiegel mit einem Polarisationsfilter versehen. Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:

- Figur 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer ersten Ausführungsform;

- Figur 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer zweiten Ausführungsform;

- Figur 3 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer dritten Ausführungsform; und

- Figur 4 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer vierten Ausführungsform.

In Figur 1 ist eine portable Vorrichtung 10 zur Darstellung einer grafischen Information 12 auf einem entfernten Objekt 14 in einer einfachen ersten Ausführungsform dargestellt. Dieser grundlegende Aufbau kann durch weitere Komponenten ergänzt werden, worauf weiter unten in der Beschreibung weiterer, besonders vorteilhafter Ausführungsformen anhand der Figuren 2 bis 4 genauer eingegangen wird.

In einem portablen Gehäuse 16 sind ein Projektor 18, insbesondere ein Videoprojektor, zum Projizieren der grafischen Information 12, und eine Kamera 20 zur Erfassung der Position und/oder Lage des Objekts 14 untergebracht. Statt eines Videoprojektors kann grundsätzlich auch ein Laserprojektor verwendet werden, wobei im Folgenden vorrangig auf Ausführungsformen mit einem Videoprojektor eingegangen wird Im Gehäuse 16 ist des Weiteren ein semitransparenter Spiegel 22 vorgesehen, der sowohl das vom Projektor 18 ausgestrahlte Licht als auch das in die Kamera 20 einfallende Licht teilweise reflektiert und teilweise transmittiert.

Der Projektor 18, die Kamera 20 und der semitransparente Spiegel 22 sind relativ zueinander so angeordnet, dass eine erste Oberfläche des semitransparenten Spiegels 22 im Strahlengang des Projektors 18 und die entgegengesetzte zweite Oberfläche des semitransparenten Spiegels 22 im Blickwinkel der Kamera 20 liegt. Bei dem in Figur 1 dargestellten Ausführungsbeispiel sind der Projektor 18 und die Kamera 20 so orientiert, dass ihre optischen Achsen 24 bzw. 26 senkrecht aufeinander stehen, und der semitransparente Spiegel 22 ist im Schnittpunkt der beiden optischen Achsen 24, 26 so angeordnet und orientiert, dass er gegenüber beiden optischen Achsen 24, 26 um 45° geneigt ist.

Aufgrund des semitransparenten Spiegels 22 wird die optische Achse 24 des durch Reflexion abgelenkten Strahlengangs des Projektors 18 so verändert, dass sie mit der optischen Achse 26 des vom semitransparenten Spiegel 22 transmittierten Teil des Lichteinfalls der Kamera 20 zusammenfällt. Derjenige Bereich der Vorrichtung 10, in dem die optischen Achsen 24, 26 koaxial sind, wird der Einfachheit halber als Koaxialbereich der Vorrichtung 10 bezeichnet.

Grundsätzlich ist es auch möglich, die Vorrichtung 10 so zu nutzen, dass die optische Achse 24 des vom semitransparenten Spiegel 22 transmittierten Strahlengangs des Projektors 18 auf das Objekt 14 gerichtet wird. In diesem Fall ist der vom semitransparenten Spiegel 22 reflektierte Teil des in die Kamera 20 einfallenden Lichts von Interesse.

In beiden Fällen wird der Strahlengang des Projektors 18 über den semitransparenten Spiegel 22 mit dem Strahlengang der Kamera 20 kombiniert, sodass eine Hintereinanderanordnung von Projektor 18 und Kamera 20 simuliert wird.

Zur Steuerung des Projektors 18 und der Kamera 20 sowie zur Auswertung der von der Kamera 20 erfassten Bilder ist eine Steuereinrichtung 28 vorgesehen. Die wesentlichen Komponenten der Steuereinrichtung 28 können innerhalb des Gehäuses 16 oder - anders als in Figur 1 gezeigt - außerhalb des Gehäuses 16 vorgesehen sein.

Der Projektor 18 ist intrinsisch kalibriert, d. h. Bildhauptpunkt, Linsenverzeichnung und Brennweite des Projektors 18 sind bekannt. Ebenso ist die Kamera 20 intrinsisch kalibriert, d. h. Bildhauptpunkt, Linsenverzeichnung und Brennweite der Kamera 20 sind ebenfalls bekannt. Diese intrinsische Kalibrierung ist bekannt und beschrieben etwa in J. Weng, P. Cohen, M. Herniou: Camera Calibration with Distortion Models and Accuracy Evaluation; IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10, p. 965-980 (1992). Die Kamera 20 ist zudem extrinsisch zum Projektor 18 kalibriert, d. h. deren Pose (Position/Orientierung) ist bekannt.

Mittels der Kamera 20 kann daher der räumliche Bezug zwischen dem Objekt 14 und dem Projektor 18 ermittelt werden (Registrierung). Dies kann auch fortwährend geschehen (Tracking). Hierfür kommen Verfahren, die auf Markern oder dergleichen 30 basieren (siehe z. B. WO 2012/136345 A2), und markerlose Verfahren (siehe z. B. WO 2022/136030 A2) in Betracht.

Mittels dieser Anordnung kann eine grafische Information 12 auf das Objekt 14 projiziert werden. Diese grafische Information 12 kann dazu dienen, dem Betrachter digitale Inhalte im Sinne von Augmented Reality lagerichtig auf dem Objekt 14 anzuzeigen.

Die Kalibrierung einer 2D-Kamera zu einem Projektor ist z. B. aus WO 2012/136345 A2 und DE 10 2016 105 405 A1 bekannt. Sie basiert in der Essenz auf der Beobachtung von mehreren Projektionen relativ zu präzise vermessenen Stellen auf einem planaren oder nonplanaren Prüffeld mittels der Kamera. Somit können in einem Schritt sowohl die intrinsischen als auch die extrinsischen Parameter eines Projektor-Kamera-Systems ermittelt werden. Voraussetzung ist eine hinreichende Anzahl von Beobachtungen in einer mathematisch nicht degenerierten Konstellation, sodass die zu ermittelnden Parameter hinreichend bestimmt (idealerweise überbestimmt) sind und mittels iterativem Lösen des nichtlinearen funktionalen Zusammenhangs (Bündelblockausgleichung) bestimmt werden können.

Von besonderer Bedeutung ist hier die Kombination des Projektors 18 und der Kamera 20 über den semitransparenten Spiegel 22. Da der Projektor 18 und die Kamera 20 optisch betrachtet im selben Strahlengang liegen, hat die Kamera 20 exakt die gleiche Perspektive auf das Objekt 14 wie der Projektor 18. Ist der semitransparente Spiegel 22 hinreichend dünn und planar, ändert sich am oben beschriebenen Kalibrierverfahren für das Projektor-Kamera-System grundsätzlich nichts.

Zwar eignet sich die Vorrichtung 10 damit nicht dafür, mittels Triangulation eines auf die Oberfläche des Objekts 14 projizierten Elements (Punkt o. ä.) eine Tiefenmessung vorzunehmen (Scanning, siehe z. B. WO 2015/091291 A1), da die hierfür notwendige Baseline (Abstand zwischen zwei Kameras bzw. zwischen Projektor und Kamera) fehlt. Dennoch kann mittels des Projektors 18 das Objekt 14 beleuchtet und aus der exakt gleichen Perspektive betrachtet werden. Dies ist insbesondere dann ein Vorteil, wenn das Objekt komplex geformt und die beobachtbaren Elemente auf der Oberfläche stark vom Betrachtungswinkel abhängig sind. Damit eignet sich die Vorrichtung 10 insbesondere, um die korrekte Positionierung von Elementen (z. B. Anbauteilen) auf der Oberfläche des Objekts 14 zu beurteilen. Die Elemente können mittels Projektion geeignet beleuchtet werden (strukturierte Beleuchtung), sodass sie im Kamerabild mit hohem Kontrast abgebildet werden. Da die Perspektive der strukturierten Beleuchtung und der beobachtenden Kamera 20 identisch ist, gibt es keine Parallaxeneffekte. Das bedeutet, komplex geformte Oberflächen, Höhenunterschiede durch auf die Objektoberfläche montierte Elemente etc. führen nicht zu Abschattungen. Insbesondere kann die beleuchtete Oberfläche komplett abgelichtet werden. Somit können Bildverarbeitungsalgorithmen besonders robust implementiert werden.

Die Vorrichtung 10 macht es also möglich, (i) zusätzliche Kameras und Beleuchtungen einzusparen, indem unterschiedliche Stellen aus nur einer Perspektive angefahren und mittels des Projektors 18 geeignet beleuchtet werden können, z. B. für eine robuste Bildverarbeitung zwecks Erkennung/ Prüfung der korrekten Montage von Anbauteilen), und (ii) die Fertigung bzw. Montage zu flexibilisieren, indem vorab unbekannte Positionen einfach digital angesteuert werden können (im Vergleich zur Verwendung herkömmlicher Schablonen), z. B. zur Anzeige von Montagehinweisen bzw. Positionierungsinformationen (Fadenkreuze, Konturen etc.) für eine exakte Positionierung von Anbauteilen, oder zur Anzeige von Informationen, um Elemente am Bauteil kenntlich zu machen (etwa ein Loch unter vielen, in welches ein Clip, eine Schraube, o. ä. zu setzen ist). Während herkömmliche Schablonen beschafft und vorgehalten werden müssen, um eine bestimmte Produktvariante produzieren zu können, bzw. einen konkreten Plan umsetzen zu können, kann durch die digitale Ansteuerung einer "digitalen Schablone" mittels der Vorrichtung 10 jegliche Produktvariante produziert werden, sofern die 3D-Daten hierfür vorliegen. Die Generierung der Projektionsinhalte kann ggf. auch vollautomatisiert werden, indem z. B. die 3D-lnhalte anhand der Bauteilidentifikationsnummer und der hierfür gültigen Stückliste automatisch erstellt und zur Anzeige gebracht werden. Damit entfällt jeglicher manuelle Rüstprozess in einer Fertigungslinie.

Es ist zu beachten, dass der Einfachheit halber in Figur 1 (und auch in den weiteren Figuren) der Projektionskegel des Projektors 18 (durchgezogene Linien) und der Lichteinfallskegel der Kamera 20 (gestrichelte Linien) im Koaxialbereich und außerhalb der Vorrichtung 10 identisch sind. In diesem Fall sind die Brennweiten des Projektors 18 und der Kamera 20 identisch. Dies ist aber nicht zwingend erforderlich. Vielmehr können unterschiedliche Brennweiten für bestimmte Anwendungen durchaus vorteilhaft sein.

In den Figuren 2 und 3 sind erweiterte Ausführungsformen der portablen Vorrichtung 10 gezeigt, bei der der oben beschriebene grundlegende Aufbau mit einem (symbolisch dargestellten) Scan-System 31 kombiniert ist.

Bei der in Figur 2 gezeigten Variante sind im Koaxialbereich der Vorrichtung 10 zwei Drehspiegel 32, 34 angeordnet, welche durch zwei

Galvanometerantriebe 36, 38 (kurz: Galvos) ausgelenkt werden können. Genauer gesagt kann der erste Drehspiegel 32 um eine erste Achse und der zweite Drehspiegel 34 um eine zur ersten Achse zumindest näherungsweise senkrechte zweite Achse gedreht werden. Die Galvos 36, 38 werden von der Steuereinrichtung 28 angesteuert.

Mittels der Drehspiegel 32, 34 kann der gemeinsame Strahlengang des Projektors 18 und der Kamera 20 in zwei zueinander senkrechten Richtungen ausgelenkt werden. Somit kann der durch den Strahlengang erreichbare Bereich in der Umgebung erheblich erweitert werden, indem das nominale Projektionsfeld des Projektors 18 bzw. der nominale Sichtkegel der Kamera 20 mittels Auslenkung der Drehspiegel 32, 34 aufgeweitet wird. Gängige Galvo-Scan- Systeme erreichen Auslenkwinkel von +/-20⁰, womit optisch ein Bereich von 80° (Einfallswinkel = Ausfallswinkel, dadurch Verdopplung der Auslenkung) erreicht werden kann.

Konkret kann daher in der Vorrichtung 10 ein sehr kompakter Pico- Videoprojektor 18 mit geringer Lichtleistung und größerer Brennweite (z. B. 5°, äquivalent mit einer Bildbreite von ca. 17 cm bei 2 m Projektionsabstand) und damit kleinerem Projektionsfeld bei gegebenem Arbeitsabstand kombiniert werden. Pico-Videoprojektoren mit geringer Lichtleistung sind nicht nur sehr preisgünstig, sondern darüber hinaus auch kompakt in der Bauform und aufgrund des geringen Energieverbrauchs auch besonders ökonomisch. Aufgrund der geringeren Abwärme sind ist die Vorrichtung 10 darüber hinaus auch viel einfacher zu kühlen. In Summe entsteht durch eine solche Anordnung eine sehr kompakte, leichte, einfach gegen Umwelteinflüsse wie Staub und Feuchtigkeit schützbare, und damit preisgünstig herzustellende Einheit, welche dennoch in der Lage ist, große Bereiche auszuleuchten.

Die Ausleuchtung ist dabei nicht simultan über den gesamten Bereich realisierbar, was sie für manche Anwendungen unbrauchbar macht, etwa wenn auf einmal größere Strukturen (z. B. ein CAD-Layout zur präzisen Anordnung von Zuschnitten auf einem Tisch) angezeigt werden müssen. In vielen andern Anwendungen genügt es aber, wenn die Ausleuchtung sequentiell erfolgt (z. B. um nacheinander bestimmte Schritte einer Arbeitsanleitung anzuzeigen).

Die Einheit verhält sich letztlich wie eine Taschenlampe, die automatisch dorthin leuchtet, wo der Betrachter hinschauen möchte. Für den jeweils ausgeleuchteten Bereich steht dabei die gleiche Lichtleistung pro Fläche zur Verfügung (z. B. 500 ANSI-Lumen pro 0,25 m² = 2000 ANSI-Lumen pro m²), wie es bei Ausleuchtung eines größeren Bereichs mit einem deutlich größeren, leistungsfähigeren, teureren Gerät der Fall wäre (z.B. 4000 ANSI-Lumen pro 2 m² = 2000 ANSI-Lumen pro m²). Hierbei spielt die Betrachtung eine zentrale Rolle, dass für eine kontrastreiche Darstellung als Richtwert mindestens das Drei- bis Fünffache der Beleuchtungsstärke auf der Objektoberfläche, gemessen in Lux, in ANSI-Lumen pro m² aufgewendet werden muss. Für typische Arbeitsplatzumgebungen beträgt die Beleuchtungsstärke durch künstliches Licht mindestens 500 Lux, an manchen Arbeitsplätzen auch deutlich mehr. In Arbeitsumgebungen, in die natürliches Sonnenlicht eindringen kann, kann die Beleuchtungsstärke 2000 Lux und mehr betragen. Es ist also leicht ersichtlich, dass einer kompletten, kontrastreichen Ausleuchtung von Objektoberflächen mittels Videoprojektoren in der Praxis enge Grenzen gesetzt sind (z. B. sind für einen Tisch von 2 m x 2 m = 4 m² selbst bei moderater Ausleuchtung mit nur 500 Lux mindestens 4 x 500 Lumen / m² x 4 = 8000 ANSI-Lumen notwendig, wofür bereits ein stattlicher Projektor benötigt wird). Hier ist noch gar nicht berücksichtigt, dass die gängigen 4:3-, 16:9- oder 16:10-Bildformate handelsüblicher Projektoren nicht unbedingt zur Objektoberfläche passen, wodurch die Netto-Lichtausbeute ggf. deutlich geringer ausfällt.

Ein weiterer Vorteil gegenüber der ersten Ausführungsform besteht darin, dass die Vorrichtung 10 mit dem Scan-System 31 aufgrund der geringen Lichtleistung des Pico- Videoprojektors 18 nur wenig Strom verbraucht, was nicht nur der Umwelt zugutekommt, sondern wodurch die Vorrichtung 10 wegen geringerer Abwärme auch viel einfacher gekühlt werden kann. Herkömmliche Videoprojektoren sind typischerweise luftgekühlt, wobei keine Entkopplung zwischen Umwelt und Gehäuseinnerem besteht. Solche Geräte sind deshalb typischerweise lediglich mit der Schutzart IP20 klassifiziert (geschützt gegen feste Fremdkörper mit Durchmesser > 12,5 mm; geschützt gegen den Zugang mit einem Finger; kein Schutz gegen Wasser). Insbesondere Umwelteinflüsse wie metallischer Staub und Aerosole stellen ein Problem für die Langlebigkeit der Geräte dar. Damit sind herkömmliche Videoprojektoren in schmutzigen Umgebungen wie Schweißereien, Baustellen etc. nicht verwendbar. Die Vorrichtung 10 hingegen kann aufgrund der geringen Wärmeentwicklung kompakt, preisgünstig und dennoch zweikreisig ausgelegt werden, damit Schmutz vom Gehäuseinneren und damit von kritischen Komponenten ferngehalten werden kann. Somit eignet sich diese besonders vorteilhafte Ausführungsform für den Einsatz als Werkerassistenzsystem in verschiedensten Umgebungen.

Vorteilhaft im Vergleich zur ersten Ausführungsform ist des Weiteren, dass bei gegebener Auflösung des Projektors 18 der Vorrichtung 10 durch die höhere Brennweite eine höhere Anzahl an Pixeln pro Fläche (DPI) auf der Objektoberfläche zur Verfügung steht. Somit können dünnere, filigranere und damit auch präzisere Projektionen angezeigt werden.

In einer besonders vorteilhaften Variante der Vorrichtung 10 sind sowohl der Projektor 18 als auch die Kamera 20 mit hoher Brennweite ausgelegt. Somit verringert sich zwar der Sichtkegel, der für gleichzeitige Beobachtungen des Objektraums durch die Kamera 20 zur Verfügung steht. Gleichzeitig erhöht sich jedoch die nutzbare Auflösung auf der Objektoberfläche. Somit können feinere Strukturen noch aufgelöst werden. Die Güte der Daten, die für Bildverarbeitungsalgorithmen zur Verfügung steht, wird dadurch erheblich gesteigert, ohne dass die insgesamt (sequentiell) beobachtbaren Bereiche schrumpfen. Dies birgt erhebliche Vorteile für alle Anwendungen, die auf einer Beobachtung durch eine Kamera basieren. Dazu gehört nicht nur die präzise Referenzierung des Projektors 18 relativ zum Objekt 14 (bzw. Tracking), sondern auch die Ermittlung von Eigenschaften des Objekts 14, etwa die Ermittlung der korrekten und präzisen Montage eines Anbauteils an einem Werkstück. Durch die höhere verfügbare Auflösung kann damit die Aussagekraft solcher Bildverarbeitungsverfahren erheblich erhöht werden.

Wie bereits angedeutet kann als Projektor 18 anstelle eines Videoprojektors hier ein - ebenfalls Galvo-Scanner-basiert arbeitender - Laserprojektor vorgesehen sein. Bei einer solchen Ausführungsform wird eine Punktlaserquelle über zwei Spiegel derart in zwei zueinander senkrechte Richtungen ausgelenkt, dass für den Betrachter der Eindruck einer stehenden Laserkontur entsteht. Solche Galvo-unterstützte Laserprojektoren werden häufig in der Industrie eingesetzt, etwa um präzise Positionierungen oder Beschnitte auf planare Tische oder auch komplex geformte Bauteile zu übertragen. Die Galvos verfügen in der Regel über eine sehr hohe Auflösung von mindestens 2¹⁶ Bit, die sich auf den nutzbaren Auslenkwinkel von +/-20⁰ und das daraus resultierende Sichtfeld von 80° x 80° erstreckt. Die horizontale Auflösung eines 4K-Videoprojektors liegt im Vergleich hierzu bei lediglich 4096 bzw. 3840 (je nach Bildformat). Wenn sich diese nun aber nur auf einen 5°-Sichtwinkel verteilt, anstatt auf 80°, ergibt sich bei der Vorrichtung 10 eine effektive Auflösung von ca. 4000 * (80 / 5) = 64000, was in etwa der hohen Auflösung von 2¹⁶ Bit des Laserprojektors entspricht.

Zum besseren Verständnis sei hinzugefügt, dass die Auflösung der Galvos 36, 38 für die resultierende Auflösung der Gesamtanordnung nicht ausschlaggebend ist, sie müssen ja nur das Sichtfeld des Videoprojektors 18 grob derart auf das Objekt 14 ausrichten, dass der gewünschte Zielbereich (ROI) auf dem Objekt 14 durch das nutzbare Sichtfeld der Projektion vollständig überdeckt ist. Sodann ist nur noch die dort zur Verfügung stehende Auflösung der Videoprojektion ausschlaggebend. Mittels Kalibrierung und entsprechender Ansteuerung wird sichergestellt, dass für die gewünschte Zielkoordinate auf dem Objekt 14 das jeweils zuständige Pixel zugeordnet wird. Soll die Vorrichtung 10 auf größere Arbeitsabstände ausgelegt werden, so muss lediglich die Brennweite des Projektors 18 größer gewählt werden, resultierend in einem kleineren Sichtwinkel (z. B. 2,5° anstatt 5°). Damit steht die gleiche effektive Auflösung auch bei größerem Arbeitsabstand zur Verfügung. Dies stellt einen weiteren Vorteil der Vorrichtung 10 gegenüber den genannten Laserprojektoren dar, deren effektive Auflösung sich ja stets durch die Auflösung der Galvos betrachtet auf das gesamte Bildfeld ergibt (z. B. 2¹⁶ auf 80°), wodurch der Diskretisierungseffekt mit zunehmendem Arbeitsabstand immer größer wird.

Da sich die Drehspiegel 32, 34 der Vorrichtung 10 nicht mit hoher Frequenz bewegen müssen, um den Eindruck einer stehenden Kontur zu erzeugen, sondern lediglich den Bildausschnitt des Videoprojektors 18 an die jeweils gewünschte Stelle rücken müssen, wofür langsame Bewegungen ausreichend sind, sind auch die Anforderungen an die Galvos 36, 38 deutlich geringer. Es können deutlich preisgünstigere Modelle mit geringen Beschleunigungswerten eingesetzt werden. Zudem tritt durch die langsame Bewegung und er daraus resultierenden geringen Kräfte auch deutlich weniger Verschleiß der mechanischen Teile auf. Damit kann ein ebenso präzises System zu einem günstigeren Preis gefertigt werden, welches zudem auch noch langlebiger ist.

Da die Vorrichtung 10 nicht alle Bereiche gleichzeitig ausleuchten, und damit auch nicht sehen kann, ist die Fähigkeit zum dynamischen Tracking von Objekten etwas eingeschränkt. Für die Referenzierung bzw. das Tracking von Objekten werden typischerweise die Beobachtungen mehrerer Marker oder anderer markanter Geometrieelemente, wie etwa Kanten, Ecken, Löcher etc., oder auch markanter Texturelemente, wie etwa Hell-/Dunkel-Übergänge, sog. Features, hier allgemein mit dem Bezugszeichen 30 gekennzeichnet, benötigt (mindestens vier auf planaren Flächen bzw. sechs auf nicht-planaren Oberflächen, verteilt über die Objekt-Oberfläche). Durch die Auslenkung der Drehspiegel 32, 34 können diese Beobachtungen nur sequentiell erfolgen. Die Latenz zwischen zwei Beobachtungen hängt dabei von der Auslegung des Spiegelsystems (Größe/Gewicht der Drehspiegel 32, 34 und Leistungsfähigkeit der Galvos 36, 38) sowie vom Winkel ab, um welchen die Drehspiegel zwischen den zwei Beobachtungen verfahren werden müssen. Im schlechtesten Fall muss der Sichtkegel etwa von ganz links nach ganz rechts bzw. von ganz unten nach ganz oben verfahren werden. Bei gleichzeitiger Bewegung können somit "Beobachtungen" relevanter Elemente auf der Objektoberfläche nicht gleichzeitig, sondern nur nacheinander realisiert werden. Mathematisch gesehen gelingt es somit nicht, unter der Annahme bewegter Objekte vier oder sechs Beobachtungen von Referenz-Elementen gleichzeitig durchzuführen. Bei langsameren Bewegungen hingegen sind die vier oder sechs Beobachtungen hinreichend „gleichzeitig“ für eine robuste Referenzierung. Bei ruhenden Objekten ergeben sich gar keine Einschränkungen. Auch bei schneller bewegten Objekten (wie etwa am Fließband) kann die Technik zum Einsatz kommen. Die durch die Bewegung des Objekts 14 verursachte Inkonsistenz in den vier oder sechs Beobachtungen führt dann zu einer Reduktion der erreichbaren Genauigkeit in der fortwährenden Posen-Ermittlung. Bei gleichförmigen Bewegungen (wie sie typischerweise in Fertigungsumgebungen, Fließband etc. vorliegen) kann die durch den zeitlichen Versatz der Beobachtungen verursachte Inkonsistenz sogar durch einen Kalman-Filter unter Verwendung eines geeigneten Bewegungsmodells komplett kompensiert werden. Unter der Annahme von gleichförmigen bzw. gleichförmig beschleunigten Bewegungen gelingt damit die gleiche Präzision wie bei ruhenden Objekten.

In einer weiteren Ausbaustufe kann die Vorrichtung 10 anstatt mit einer herkömmlichen 2D-Kamera mit einer sog. Tiefenkamera (3D-Kamera oder Time- of-flight (ToF) Kamera) realisiert werden. Damit erweitern sich die Möglichkeiten, denn mit 2D-Kameras ausgestattete Anordnungen sind aufgrund der fehlenden Baseline, wie oben bereits ausgeführt, nicht in der Lage, auf Triangulation basierende Tiefenmessungen durchzuführen. Diese Einschränkung entfällt durch den Einsatz einer ToF-basierten Tiefenkamera. Hier kommt als Messprinzip eine Laufzeitmessung des durch die ToF-Kamera emittierten, durch die Objektoberfläche reflektierten und durch die ToF-Kamera schließlich wieder empfangenen Lichts zum Einsatz. Die Tiefe ergibt sich aus der Zeitdifferenz zwischen emittiertem und empfangenem Licht, die Baseline spielt bei diesem Messprinzip keine Rolle. Somit entfällt der oben genannte Nachteil der Anordnung von Projektor 18 und Kamera 20 im gleichen Strahlengang. ToF- Kameras arbeiten typischerweise mit unsichtbarer Infrarot-Beleuchtung. Der Strahlengang, insbesondere der semitransparente Spiegel 22, muss entsprechend konzipiert sein, dass Infrarot-Strahlung in beiden Richtungen teilweise durchgelassen wird, ebenso wie das sichtbare Licht. Sofern die Vorrichtung 10 eine Auslenkung des Strahlengangs zumindest des Projektors 18 oder darüber hinaus auch der Kamera 20 vorsieht, gestaltet sich die Kalibrierung der optischen Komponenten komplizierter. Es genügt nicht mehr, die intrinsischen Eigenschaften von Projektor 18 und Kamera 20, sowie den extrinsischen Bezug dieser beiden Komponenten unter Berücksichtigung des semitransparenten Spiegels 22 zu kennen. Hinzu kommen die Abbildungseigenschaften der beiden Drehspiegel 32, 34. Mathematisch ist dies beschreibbar durch die Modelle, die z. B. beschrieben sind in Eisert, Peter; Polthier, Konrad; Hornegger, Joachim: A mathematical model and calibration procedure for galvanometric laser scanning systems; Vision, Modeling, and Visualization. 2011. S. 207-214. Diese Modelle kommen auch zur Auslenkung von Punktlaserquellen in Laserprojektoren zum Einsatz. Jedoch erzeugt der Videoprojektor 18, anders als die Punktlaserquelle, ein flächiges Bild. Bei naiver Implementierung kann ein Punkt (etwa der Bildmittelpunkt bzw. Bildhauptpunkt) als analog zu der Punktlaserquelle betrachtet werden. Für Pixel mit zunehmendem Abstand von diesem einen Punkt ergäbe sich somit bei gegebener Auslenkung der Drehspiegel 32, 34 ein zunehmender Fehler im mathematischen Modell. Um für sämtliche Pixel ein präzises mathematisches Modell verwenden zu können, muss die Kalibrierung daher den gesamten Projektionsbereich für jede mögliche Spiegelauslenkung berücksichtigen, um höchste Präzision zu erzielen. Unter anderem gelingt dies durch Erhöhung der Anzahl der Messungen. So wie die Auslenkung der punktförmigen Laserquellen unterschiedlicher Laserprojektoren mit jeweils charakteristischem Auftreffwinkel des Punktlasers auf dem ersten und zweiten Drehspiegel Gerät für Gerät kalibriert werden kann, so kann dies auch innerhalb der Vorrichtung 10 mit dem Videoprojektor 18 geschehen, wobei sozusagen die unterschiedlichen Auftreffwinkel der Punktlichtquelle auf den ersten bzw. zweiten Drehspiegel 32, 34 in Form verschiedener Pixel in einem einzigen Gerät vorliegen. In der Praxis muss die Kalibrierung nicht für jedes Pixel separat durchgeführt werden. Es genügt, für einige über das Bild verteilte Pixel zu kalibrieren und den optischen Pfad für dazwischenliegende Pixel zu interpolieren.

In Figur 3 ist eine weitere Ausführungsform der Vorrichtung 10 gezeigt, bei der der in Figur 1 gezeigte Aufbau mit einem Scan-System 31 kombiniert ist. Hier ist das Scan-System 31 durch einen besonderen Scan-Spiegel 40 mit einem Antrieb in Form einer mit elektrischen Schrittmotoren verstellbaren Auslenkmechanik 42 gebildet. Damit ist im Vergleich zur zuvor beschriebenen Ausführungsform die Anzahl der Spiegel des Scan-Systems 31 von zwei auf eins reduziert. Scan-Systeme mit nur einem auslenkbaren Scan-Spiegel sind für größere Projektoren z. B. von der Fa. Dynamic Projection Institute unter der Bezeichnung „Mirror Head“ erhältlich.

Mit einem solchen Scan-Spiegel 40 kann die Projektion des Projektors 18 erheblich viel weiter ausgelenkt werden, als es die in handelsüblichen Projektoren typischerweise verbaute Lens-Shift-Funktionalität könnte. Der Scan- Spiegel 40 kann durch die von der Steuereinrichtung 28 gesteuerte Auslenkmechanik 42 um zwei zueinander senkrechte Achsen ausgelenkt werden. Durch die im Vergleich zu den Galvos 36, 38 komplexere Auslenkmechanik 42 mit entsprechend größerer Masse sinkt die Frequenz der möglichen Spiegelbewegungen. Für manche (statische, bzw. langsam bewegte Anwendungen) stellt dies jedoch kein Problem dar.

Die verfügbaren Scan-Spiegel-Systeme sind nicht kalibriert, jedoch kann man das Bild reproduzierbar an verschiedene Stellen im Raum lenken. Da der Scan- Spiegel 40 und typischerweise auch die Projektionsfläche planar sind, kann das perspektivisch verzeichnete Bild über eine simple Homographie wieder rektifiziert werden. Dies gelingt ohne tiefere mathematische 3D-Kalibrierung mittels entsprechender händischer Einstellung der vier Bildeckpunkte in der jeweiligen horizontalen bzw. vertikalen Auslenkung. Es genügt, das Bild „auf Knopfdruck“ jederzeit wieder reproduzierbar auf die gleiche Fläche ausrichten zu können.

Im Kontext dieser Erfindung stellt ein solches Scan-System 31 mit einem Scan-Spiegel 40 einen Spezialfall des zuvor beschriebenen Scan-Systems 31 mit zwei Drehspiegeln 32, 34 dar, bei dem der Spiegelabstand 0 beträgt. Damit entfällt einer der Parameter, welcher im Rahmen der Kalibrierung von Zwei- Spiegel-Systemen kalibriert werden muss. Es sind damit deutlich größere Öffnungswinkel von bis zu 180° möglich, was im Beispiel der Flugzeugrumpftonne (siehe oben) vorteilhaft ist. Es kann lateral die ganze Halbschale von einer Position aus erreicht werden.

In einer weiteren besonders vorteilhaften Variante wird der Scan-Spiegel 40 nicht mechanisch über bewegte Teile betrieben, sondern ist als sog. MEMS (microelectromechanical system) ausgelegt. Der Scan-Spiegel 40 ist dann (in Nulllage) um 45° geneigt im Strahlengang des Projektors 18 und der Kamera 20 angeordnet. Nachteil ist, dass sich durch die geneigte Anbringung des Scan- Spiegels 40 eine starke Perspektive ergibt, mit abnehmender Auflösung des Bildes bei zunehmender Auslenkung. Vorteil ist, dass es keine mechanischen Teile und damit keine Verschleißteile gibt. Das System ist insgesamt kompakter. In Verbindung mit der eingangs beschriebenen Anordnung von Projektor 18 und Kamera 20 in einem Strahlengang kann die Erfindung somit auch über das MEMS umgesetzt werden.

Figur 4 zeigt schließlich noch eine weitere besonders vorteilhafte Ausführungsform, bei der der kombinierte Strahlengang von Projektor 18 und Kamera 20 über eine Objektiveinheit 44 fokussierbar und zoombar ist. Somit sind variable Arbeitsabstände realisierbar. Ist das Objektiveinheit 44 motorisiert, so können unterschiedliche Arbeitsabstände in einem Prozess automatisiert abgebildet werden. Ggf. kann bei Verwendung einer solchen Objektiveinheit 44 auf Objektive am Projektor 18 und der Kamera 20 ganz verzichtet werden, sodass die Vorrichtung noch einfacher und kompakter ausgeführt werden kann.

Insbesondere für einfachere Anwendungen kann als Projektor 18 anstatt eines Videoprojektors oder einer Laserprojektoreinheit mit Punktlaserquelle, welche mittels Galvo-Scanner schnell ausgelenkt werden muss, um für den Betrachter den Eindruck einer stehenden Projektion auf einem Bauteil zu erzielen, alternativ auch eine kostengünstige Lichtquelle eingesetzt werden, welche eine simple geometrische Form, etwa einen Kreis oder ein Kreuz, projiziert, mittels der ein Element oder eine Stelle auf dem Bauteil eindeutig gekennzeichnet werden kann. Eine solche Lichtquelle kann insbesondere ein LED-Musterprojektor sein, welcher genaue, intensive und gleichförmige Linien, Gitter, Kreuze und Punktwolken mittels einfach austauschbarer Mustermasken erzeugen kann, wobei die verschiedenen Masken über Plug & Play integriert werden können. Als Lichtquelle kann alternativ auch Laserdiode eingesetzt werden, die über ein diffraktives optisches Element diverse Muster erzeugen kann.

Der Vorteil einer solchen Ausführung liegt darin, dass anstatt mittels zweier Galvo-Scanner schnell bewegter Spiegel ein langsamerer Mechanismus zur Auslenkung des Lichtstrahls ausreicht, da nicht der Eindruck einer stehenden Kontur erzielt werden muss, sondern lediglich das bereits aus der verwendeten Lichtquelle austretende Muster auf die gewünschte Position auf dem Bauteil ausgerichtet werden muss. Ein solcher langsamer Mechanismus kann mittels eines oder auch zweier Spiegel erzielt werden (siehe Erläuterung in der aktuellen Patentanmeldung) und ist ggf. günstiger, und aufgrund geringerer Beschleunigungswerte auch mit weniger Verschleiß realisierbar, womit längere Lebensdauern erreicht werden können.

Der semitransparente Spiegel 22 kann unterschiedlich geartet sein. Im Folgenden werden einige bevorzugte Varianten näher erläutert.

Das Verhältnis von durchgehendem zu reflektiertem Licht (Reflexion/ Transmission) ist typischerweise etwa 50:50, wobei je nach Anwendung grundsätzlich auch ein anderes Verhältnis gewählt werden kann.

Der semitransparente Spiegel 22 kann mit oder ohne Polarisationsfilter realisiert sein. Ein Polarisationsfilter kann Reflexionen auf spiegelnden Oberflächen minimieren, wodurch robustere Messungen und eine höhere Datenqualität erzielt wird.

Der Wellenlängenbereich, in welchem der semitransparente Spiegel 22 durchlässig ist, sollte auf den verwendeten Projektor 18 und die verwendete Kamera 20 abgestimmt sein. Standardmäßig könnten alle typischen Wellenlängenbereiche durchgelassen werden.

Somit lassen sich je nach Ausführungsvariante insbesondere folgende vorteilhaften Kombinationen definieren:

- 2D-Kamera + Videoprojektor: semitransparenter Spiegel 22 ist durchlässig für sichtbares Licht.

- 2D-Kamera + monochromatischer LED-Projektor bzw. Laserdiode: semitransparenter Spiegel 22 ist „schmalbandig“, durchlässig nur im Wellenlängenbereich der Lichtquelle.

- 3D-ToF-Kamera + Videoprojektor: semitransparenter Spiegel 22 ist durchlässig für sichtbares Licht und Infrarotlicht. - 3D-ToF Kamera + monochromatischer LED-Projektor bzw. Laserdiode: semitransparenter Spiegel 22 ist „schmalbandig“, durchlässig nur im Wellenlängenbereich der Lichtquelle und für Infrarotlicht.

- 2D-Kamera + monochromatischer Videoprojektor: semitransparenter Spiegel 22 ist „schmalbandig“, durchlässig nur im Wellenlängenbereich der Lichtquelle (siehe auch Blaulicht-Scanner aus der photogrammetrischen Messtechnik, besonders hohes Signal/Rausch-Verhältnis für Messaufgaben).

- 3D-Kamera + monochromatischer Videoprojektor: semitransparenter Spiegel 22 ist „schmalbandig“, durchlässig nur im Wellenlängenbereich der Lichtquelle (siehe auch Blaulicht-Scanner aus der photogrammetrischen Messtechnik, besonders hohes Signal/Rausch-Verhältnis für Messaufgaben) und für Infrarotlicht.

- 2D-Kamera + Laserdiode mit Doppelfunktion „Projektion“ und „zur Laser- Distanzmessung“: semitransparenter Spiegel 22 ist „schmalbandig“, durchlässig nur im Wellenlängenbereich der Lichtquelle.

Generell gilt: je kleiner der Wellenlängenbereich des Lichts ist, der durch den semitransparenten Spiegel 22 durchtreten kann, desto besser ist das Signal/ Rausch-Verhältnis. Jedoch leidet dann die Darstellungsqualität, wenn keine mehrfarbige Darstellung möglich ist.

Bezuqszeichenliste

10 Vorrichtung

12 grafische Information

14 Objekt

16 Gehäuse

18 Projektor

20 Kamera

22 semitransparenter Spiegel

24 optische Achse des Projektors

26 optische Achse der Kamera

28 Steuereinrichtung

30 Marker

31 Scan-System

32 erster Drehspiegel

34 zweiter Drehspiegel

36 erster Galvanometerantrieb

38 zweiter Galvanometerantrieb

40 Scan-Spiegel

42 Auslenkmechanik

44 Objektiveinheit

Claims

Patentansprüche

1. Portable Vorrichtung (10) zur Darstellung einer grafischen Information (12) auf einem entfernten Objekt (14), mit einem Projektor (18), insbesondere einem Videoprojektor, zum Projizieren der grafischen Information (12), einer Kamera (20) zur Erfassung der Position und/oder Lage des Objekts (14), einem semitransparenten Spiegel (22) mit einer ersten Oberfläche und einer entgegengesetzten zweiten Oberfläche, einer Steuereinrichtung (28) zur Steuerung des Projektors (18) und der Kamera (20) sowie zur Auswertung der von der Kamera (20) erfassten Bilder, und einem portablen Gehäuse (16), in dem wenigstens der Projektor (18), die Kamera (20) und der semitransparente Spiegel (22) untergebracht sind, wobei der Projektor (18), die Kamera (20) und der semitransparente Spiegel (22) relativ zueinander so angeordnet sind, dass die erste Oberfläche des semitransparenten Spiegels (22) im Strahlengang des Projektors (18) und die zweite Oberfläche des semitransparenten Spiegels (22) im Blickwinkel der Kamera (20) liegt, und dass in einem Koaxialbereich der Vorrichtung (10) entweder die optische Achse (24) des vom semitransparenten Spiegel (22) durch Reflexion abgelenkten Strahlengangs des Projektors (18) koaxial mit der optischen Achse (26) des vom semitransparenten Spiegel (22) transmittierten Lichteinfalls der Kamera (20) ist, oder die optische Achse (24) des vom semitransparenten Spiegel (22) transmittierten Strahlengangs des Projektors (18) koaxial mit der optischen Achse (26) des vom semitransparenten Spiegel (22) durch Reflexion abgelenkten Lichteinfalls der Kamera (20) ist.

2. Vorrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass wesentliche Komponenten der Steuereinrichtung (28) nicht im Gehäuse (16) untergebracht sind.

3. Vorrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im Koaxialbereich der Vorrichtung (10) eine durch einen Antrieb (36, 38; 42) bewegbare Spiegelanordnung (32, 34; 40) vorgesehen ist, mittels der die koaxialen optischen Achsen (24, 26) des Projektors (18) und der Kamera (20) gemeinsam in verschiedene Raumrichtungen abgelenkt werden können, wobei der Antrieb (36, 38; 42) von der Steuereinrichtung (28) gesteuert wird.

4. Vorrichtung (10) nach Anspruch 3, dadurch gekennzeichnet, dass die Spiegelanordnung zwei Drehspiegel (32, 34) und der Antrieb zwei Galvanometerantriebe (36, 38) aufweist.

5. Vorrichtung (10) nach Anspruch 3, dadurch gekennzeichnet, dass die Spiegelanordnung einen um wenigstens zwei Achsen drehbaren Scan-Spiegel (40) aufweist.

6. Vorrichtung (10) nach Anspruch 5, dadurch gekennzeichnet, dass der Scan-Spiegel (40) drehbar in einer Halterung gelagert ist, die am Projektor (18) angebracht ist.

7. Vorrichtung (10) nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass im Koaxialbereich der Vorrichtung (10) eine Objektiveinheit (44) vorgesehen ist, mittels der gleichzeitig der Strahlengang des Projektors (18) und der Lichteinfall der Kamera (20) automatisch fokussierbar und/oder automatisch zoombar sind.

8. Vorrichtung (10) nach Anspruch 7, dadurch gekennzeichnet, dass der Projektor (18) und die Kamera (20), abgesehen von der Objektiveinheit (44) im Koaxialbereich der Vorrichtung (10), über keine eigenen Objektive verfügen.

9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Projektor (18) eine Pico-Videoprojektoreinheit umfasst.

10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Projektor (18) eine Laserprojektoreinheit umfasst, insbesondere mit einer Punktlaserquelle.

11. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Projektor (18) eine Lichtquelle umfasst, die eine einfache geometrische Form projiziert, wobei die Lichtquelle eine LED- Musterprojektoreinheit, die verschiedene Formen mittels austauschbarer Mustermasken erzeugen kann, oder eine Laserdiodeneinheit ist, die über ein diffraktives optisches Element verschiedene Muster erzeugen kann.

12. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Projektor (18) wenigstens zwei der folgenden Projektoreinheiten umfasst: Pico-Videoprojektoreinheit; Laserprojektoreinheit; LED-Musterprojektoreinheit; Laserdiodeneinheit.

13. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (20) eine Tiefenkamera umfasst.

14. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich oder anstelle der Kamera (20) ein Laser- Distanzmesser vorgesehen ist.

15. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zur Kamera (20) wenigstens eine weitere Kamera oder ein Laser-Distanzmesser vorgesehen ist.

16. Vorrichtung nach Anspruch 10 und Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Punktlaserquelle des Projektors (18) auch Bestandteil des Laser-Distanzmessers ist und für eine Messung der Entfernung des Objekts (14) verwendet wird.

17. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der semitransparente Spiegel (22) mit einem Polarisationsfilter versehen ist.