-
Die Erfindung betrifft ein Verfahren sowie eine Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts.
-
Im Bereich der Produktion und Wartung von verschiedensten Industriezweigen haben Mitarbeiter mit Objekten zu tun, die eine hohe Oberflächentemperatur aufweisen können. Oft ist die Temperatur weder temporär noch räumlich konstant über das Objekt verteilt, sondern weist Temperaturgradienten auf der Oberfläche auf. Da das infrarote Spektrum für den Menschen optisch nicht wahrnehmbar ist, entstehen daraus Nachteile in der Handhabung bis hin zu Gefahrenpotentialen.
-
Aus der
CN 209995443 U ist eine kopfgetragene Anzeigevorrichtung in Form eines Helms zur Darstellung von augmentierter Realität in einer industriellen Umgebung bekannt. Der Helm weist neben einer konventionellen Kamera eine Wärmebildkamera zur Erfassung von Temperaturinformationen auf, die innerhalb einer durch die Anzeigevorrichtung wiedergegebenen Szene anzeigbar sind.
-
Aus der
CN 110580672 A ist eine Datenbrille mit einem Anzeigebereich zur Darstellung von augmentierter Realität bekannt. Neben einem konventionellen Bildaufnahmemittel verfügt die Datenbrille über ein thermisches Bildaufnahmemittel zur Erfassung von thermischen Informationen, die in Verbindung mit realen Bilddaten mittels des Anzeigebereichs anzeigbar sind.
-
Aus der
WO 2015/173528 A1 ist ein Verfahren zur Anzeige eines Kamerabildes in Verbindung mit weiteren Daten durch eine Blickfeldanzeigevorrichtung zur Darstellung von augmentierter Realität bekannt. Mittels einer Infrarotkamera werden thermische Informationen erfasst und innerhalb eines Anzeigeinhalts der Blickfeldanzeigevorrichtung graphisch repräsentiert.
-
Aus dem Artikel von Lowe, David G. („Robust model-based motion tracking through the integration of search and estimation", International Journal of Computer Vision, 1992, 8. Jg., Nr. 2, S113-122) ist ein Ansatz zum modellbasierten Matching bekannt.
-
Nachteilig bei bekannten Verfahren ist es, dass nur das Wärmebild des gesamten Objekts angezeigt werden kann und thermische Daten einzelner Objektbereiche, wie zum Beispiel einzelner Bauteilkomponenten, nicht separat dargestellt werden können.
-
Der Erfindung liegt die Aufgabe zugrunde, thermische Daten für einen vorgegebenen Objektbereich eines Objekts verbessert darstellen zu können.
-
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
-
Durch die Erfindung ist ein Verfahren zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts durch eine Datenbrille bereitgestellt. Das Objekt kann beispielsweise ein Bauteil oder eine Maschine sein, die in der Produktion und Wartung eines Industriezweigs verwendet werden. Insbesondere kann das Objekt ein Bauteil eines Kraftfahrzeugs sein. Der vorgegebene Objektbereich kann eine Fläche oder eine Bauteilkomponente innerhalb des Objekts sein. Das Verfahren umfasst als Schritt a) ein Aufnehmen eines digitalen Bildes des Objekts, das zumindest den vorgegebenen Objektbereich aufweist, durch eine Bildaufnahmeeinrichtung, als Schritt b) ein Aufnehmen eines Wärmebildes des Objekts durch eine Wärmebildaufnahmeeinrichtung, wobei das Wärmebild zumindest die thermischen Daten des vorgegebenen Objektbereichs umfasst, als Schritt c) ein Überlagern des digitalen Bilds der Bildaufnahmeeinrichtung mit dem Wärmebild der Wärmebildaufnahmeeinrichtung, wobei das Objekt im digitalen Bild und im Wärmebild übereinandergelegt wird. Ferner weist das Verfahren als Schritt d) ein Überlagern des Objekts in dem digitalen Bild mit einem digitalen Objektmodell des Objekts auf, wobei das digitale Objektmodell den vorgegebenen Objektbereich in digitaler Form aufweist, als Schritt e) ein Segmentieren des Wärmebildes mittels des überlagerten digitalen Objektmodells, wobei der zumindest vorgegebene Objektbereich mit den thermischen Daten des Objektbereichs segmentiert und durch eine Anzeigeeinrichtung der Datenbrille als virtuelle Projektion bereitgestellt wird und als Schritt f) ein Anzeigen der virtuellen Projektion der thermischen Daten auf dem segmentierten, vorgegebenen Objektbereich durch die Anzeigeeinrichtung der Datenbrille.
-
Mit anderen Worten wird zunächst ein digitales Bild des Objekts durch eine Bildaufnahmeeinrichtung aufgenommen und ein Wärmebild des Objekts mittels einer Wärmebildaufnahmeeinrichtung. Die Bildaufnahmeeinrichtung kann eine Kamera sein, insbesondere eine Videokamera, und das digitale Bild kann eine Videoaufnahme des Objekts umfassen. Insbesondere kann die Bildaufnahmeeinrichtung eine zweidimensionale Aufnahme des Objekts anfertigen und keinerlei Tiefeninformationen umfassen. Die Wärmebildaufnahmeeinrichtung, die ein Wärmebild des Objekts aufnimmt, das zumindest die thermischen Daten des vorgegebenen Objektbereichs umfasst, kann eine Infrarotkamera, insbesondere eine monokulare Infrarotkamera, sein, die Infrarotstrahlung in einem Wellenlängenbereich von 0,7 µm bis 1000 µm aufnehmen und in einen sichtbaren Spektralbereich umwandeln kann. Die thermischen Daten können diesen sichtbaren Spektralbereich des Wärmebildes darstellen, beispielsweise indem der infrarote Spektralbereich in einen Farbraum, der für das menschliche Auge sichtbar ist, umgewandelt wird. Die Bildaufnahmeeinrichtung und die Wärmebildaufnahmeeinrichtung können an oder in der Datenbrille angeordnet sein, die Aufnahmeeinrichtungen können jedoch auch separat von der Datenbrille vorgesehen sein.
-
Das digitale Bild und das Wärmebild können anschließend derart übereinandergelegt werden, dass das Objekt in den Bildern koregistriert ist. Das bedeutet, dass für jeden Pixel des digitalen Bildes auch die entsprechenden thermischen Daten, insbesondere des Objekts, vorliegen. Anschließend kann das Objekt in dem digitalen Bild mit einem digitalen Objektmodell des Objekts überlagert werden. Das heißt, dass über maschinelles Sehen das Objekt in dem digitalen Bild erkannt und mit einem digitalen Objektmodell überlagert werden kann. Dies kann beispielsweise über eine Bilderkennung und/oder Musteranalyse des Objekts in dem digitalen Bild erfolgen, insbesondere mittels künstlicher Intelligenz. Somit kann das digitale Objektmodell, das eine dreidimensionale Struktur aufweisen kann, so über das Objekt in dem digitalen Bild gelegt werden, dass das digitale Objektmodell von der Größe und Ausrichtung das Objekt in dem digitalen Bild vollständig überlagert oder ersetzt. Das digitale Objektmodell kann vorzugsweise mehrere Objektbereiche aufweisen, insbesondere den vorgegebenen Objektbereich.
-
Anschließend kann in dem Verfahren das Wärmebild, welches mit dem digitalen Bild überlagert ist, mittels des überlagerten digitalen Objektmodells segmentiert werden. Mit anderen Worten liegen das digitale Bild, das Wärmebild und das digitale Objektmodell übereinander, und das digitale Objektmodell kann verwendet werden, um das Wärmebild gemäß dem vorgegebenen Objektbereich des digitalen Objektmodells in digitaler Form zu segmentieren. Das heißt, dass aus dem Wärmebild zumindest der Objektbereich ausgewählt werden kann, und alle anderen thermischen Daten des Wärmebilds, die nicht in dem durch das digitale Objektmodell vorgegebenen Objektbereich angeordnet sind, können beispielsweise ausgeblendet werden.
-
Diese herausgefilterten beziehungsweise segmentierten thermischen Daten des Objektbereichs können dann einer Anzeigeeinrichtung der Datenbrille als virtuelle Projektion bereitgestellt werden. Die Anzeigeeinrichtung der Datenbrille kann beispielsweise einen Bildschirm innerhalb der Datenbrille umfassen, der Bilder, insbesondere die virtuelle Projektion, direkt oder über Spiegel einem Benutzer der Datenbrille bereitstellen kann. Schließlich kann die virtuelle Projektion der thermischen Daten durch die Anzeigeeinrichtung der Datenbrille auf dem segmentierten, vorgegebenen Objektbereich angezeigt werden. Das heißt, dass einem Benutzer, der die Datenbrille verwendet, die thermischen Daten auf dem Objektbereich virtuell angezeigt werden. Mit virtueller Projektion ist eine Grafik gemeint, die in der Anzeigeeinrichtung der Datenbrille derart angezeigt wird, dass diese für einen Benutzer der Datenbrille über den Objektbereich erscheint. Beispielsweise können die thermischen Daten über Computer Vision Techniken auf die Oberfläche des digitalen Objektmodells, das mit dem Objekt überlagert ist, projiziert werden.
-
Es ist vorgesehen, dass das Segmentieren in Schritt e) mittels vorgegebener Objektgrenzen des digitalen Objektmodells, insbesondere mittels der Objektgrenzen des Objektbereichs, durchgeführt wird. Mit anderen Worten kann das Objekt mehrere Objektbereiche aufweisen, die durch die Perspektive räumlich dicht beieinander liegen. Das digitale Objektmodell kann die Grenzen dieser Objektbereiche umfassen, insbesondere kann das digitale Objektmodell, wenn es in dem digitalen Bild über das Objekt gelegt ist, die Grenzverläufe je nach Ausrichtung perspektivisch nachbilden. Somit können für die Segmentierung exakt die Objektbereiche herausgefiltert werden, die zur Anzeige der thermischen Daten gewünscht sind. Auch können beispielsweise mehrere Objektbereiche ausgewählt werden, so dass nur die thermischen Daten dieser Bereiche angezeigt werden.
-
In dem Verfahren kann der Objektbereich beispielsweise mittels des digitalen Objektmodells vorgegeben werden, das heißt, dass in dem digitalen Objektmodell der Objektbereich in virtueller Form ausgewählt werden kann, der angezeigt werden soll. Vorzugsweise kann der vorgegebene Objektbereich mittels einer Gestensteuerung ausgewählt beziehungsweise geändert werden.
-
Durch die Erfindung ergibt sich der Vorteil, dass nur die thermischen Daten des vorgegebenen Objektbereichs des Objekts angezeigt werden können. Beispielsweise kann das gesamte Objekt gleiche oder unterschiedliche Temperaturen aufweisen, die räumlich nicht auseinandergehalten werden können.
-
Mittels des Verfahrens können die thermischen Daten des Objektbereichs herausgefiltert werden, die von Interesse sind. Auch können so zeitliche Änderungen der Temperatur in dem Objektbereich besser nachverfolgt werden. Insbesondere kann das Verfahren ohne Tiefeninformationen des Objekts, wie zum Beispiel von Lasermessgeräten oder Stereokameras, betrieben werden. Hierdurch können Kosten eingespart werden. Außerdem werden keine aufwendigen Rechenschritte benötigt, um das Objekt exakt zu vermessen, wodurch eine schnellere Bereitstellung der thermischen Daten im Objektbereich erreicht werden kann. Vorzugsweise können somit die thermischen Daten in Echtzeit angezeigt werden. Auch ist die Anzeige der thermischen Daten auf dem Objekt scharf darstellbar, da die Grenzen des Objektbereichs durch das digitale Modell klar vorgegeben sind. Somit können die thermischen Daten selektiv nur für die einzelnen Oberflächenbereiche oder bestimmte Flächensegmente visualisiert werden, und es wird vermieden, dass größere Teile des Sichtfelds mit thermischen Daten des Objekts überlagert werden.
-
Zu der Erfindung gehören auch Ausführungsformen, durch die sich weitere Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass die Bildaufnahmeeinrichtung und die Wärmebildaufnahmeeinrichtung räumlich aufeinander kalibriert werden und dass das Überlagern in Schritt c) in Abhängigkeit der Kalibrierung durchgeführt wird. Das heißt, dass die digitale Kamera und die Wärmebildkamera intrinsisch und extrinsisch aufeinander kalibriert sind, so dass zu jedem Pixel der digitalen beziehungsweise optischen Kamera auch Informationen über die Oberflächentemperatur, gemessen von der Wärmebildkamera, vorliegen. Für die Kalibrierung kann beispielsweise ein Unterschied in der Perspektive gemessen werden, wobei ein Unterschied als ein Vektor zur Verschiebung der Bilder verwendet werden kann. Durch diese Ausführungsform können das digitale Bild und das Wärmebild einfach und schnell überlagert werden, wodurch das Verfahren in Echtzeit durchgeführt werden kann.
-
Vorzugsweise ist vorgesehen, dass die Bildaufnahmeeinrichtung und die Wärmebildaufnahmeeinrichtung zur Kalibrierung an vorgegebenen Positionen in der Datenbrille angeordnet werden und wobei die Schritte c) bis e) durch eine Recheneinrichtung in der Datenbrille durchgeführt werden. Mit anderen Worten sind die Bildaufnahmeeinrichtung und die Wärmebildaufnahmeeinrichtung in die Datenbrille integriert, wobei ein Unterschied oder eine Abweichung der Perspektive bekannt ist und zur Kalibrierung verwendet werden kann. Des Weiteren ist eine Recheneinrichtung in der Datenbrille angeordnet, die eine Prozessoreinrichtung aufweisen kann, die zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen kann. Des Weiteren kann die Prozessoreinrichtung einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausbildung durch die Prozessoreinrichtung die Schritte c) bis e) des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Somit können sich alle Komponenten zur Ausführung des Verfahrens in der Datenbrille befinden, was den Vorteil ergibt, dass keine aufwendigen Messaufbauten benötigt werden und die Datenbrille die thermischen Daten schnell, insbesondere in Echtzeit, anzeigen kann.
-
Eine weitere Ausführungsform sieht vor, dass für das digitale Objektmodell ein dreidimensionales Konstruktionsmodell des Objekts, insbesondere ein CAD-Modell, verwendet wird. Ein dreidimensionales Konstruktionsmodell, insbesondere ein CAD-Modell, kann Objektgrenzen der Objektbereiche des Objekts in digitaler Form aufweisen und insbesondere die Abmessungen des Objekts umfassen. Somit kann das digitale Objektmodell das Objekt exakt überlagern, wodurch eine Verbesserung der Segmentierung und damit auch der Anzeige der thermischen Daten erreicht werden kann.
-
Eine weitere Ausführungsform sieht vor, dass das Objekt mittels eines Bildanalysealgorithmus aus dem digitalen Bild automatisch erkannt wird und basierend auf der Erkennung das digitale Objektmodell zur Überlagerung bereitgestellt wird. Der Bildanalysealgorithmus kann beispielsweise mittels Mustererkennung das Objekt automatisch erkennen und das digitale Objektmodell aus einem Speicher oder einer Datenbank laden, damit es mit dem Objekt in dem digitalen Bild überlagert werden kann. Somit kann das Objekt schnell und einfach bezüglich der thermischen Daten analysiert werden. Die Mustererkennung des Bildanalysealgorithmus kann vorzugsweise mittels einer künstlichen Intelligenz, insbesondere mittels eines neuronalen Netzes, durchgeführt werden.
-
Eine weitere Ausführungsform sieht vor, dass das Überlagern in Schritt d) mittels eines Modellverfolgungsalgorithmus durchgeführt wird. Der Modellverfolgungsalgorithmus kann ein sogenanntes optisches Tracking oder 3D-Modelltracking sein, das mittels einer Kantenerkennung und/oder von Farbverläufen das digitale Objektmodell über das Objekt in dem digitalen Bild legen kann. Mittels des Modellverfolgungsalgorithmus kann das virtuelle Objektmodell stabil in dem digitalen Bild überlagert werden, wodurch eine genauere und echtzeitfähige Anzeige der thermischen Daten erreicht werden kann.
-
Eine weitere Ausführungsform sieht vor, dass in Schritt f) die thermischen Daten auf der Oberfläche des Objekts mittels einer erweiterten Realität oder einer virtuellen Realität angezeigt werden, insbesondere in Echtzeit. Mit anderen Worten kann die Datenbrille eine Augmented-Reality-Brille oder eine Virtual-Reality-Brille sein. Eine Augmented-Reality-Brille kann eine durchsichtige Brille sein, wobei die virtuelle Projektion der thermischen Daten derart in das Auge projiziert wird, dass die thermischen Daten im Objektbereich des Objekts angezeigt werden. Eine Augmented-Reality-Brille kann jedoch auch mittels der Anzeigeeinrichtung das aufgenommene digitale Bild der Bildaufnahmeeinrichtung anzeigen, auf dem die virtuelle Projektion der thermischen Daten eingeblendet ist. Alternativ kann eine Virtual-Reality-Brille angewendet werden, die das digitale Objektmodell anzeigt, wobei im vorgegebenen Objektbereich des digitalen Objektmodells die thermischen Daten angezeigt werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass direkt an dem Objekt, das insbesondere ein Bauteil sein kann, gearbeitet werden kann, ohne dass ein Blick von dem Objekt genommen werden muss, um thermische Daten zu erhalten. Des Weiteren können die therm ischen Daten in Echtzeit angezeigt werden, wodurch eine Sicherheit bei dem Umgang mit dem Objekt erhöht werden kann.
-
Eine weitere Ausführungsform sieht vor, dass in Schritt f) über dem Objekt ferner das überlagerte digitale Objektmodell angezeigt wird. Mit anderen Worten wird an der Stelle des Objekts als virtuelle Projektion auch das digitale Objektmodell angezeigt. Hierdurch ergibt sich der Vorteil, dass neben thermischen Daten auch Konstruktionsdaten, wie beispielsweise Abmessungen oder Materialien angezeigt werden können, wodurch eine Verwendung der Datenbrille weitere Vorteile ergibt.
-
Ein weiterer Aspekt der Erfindung betrifft eine Datenbrille zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich eines Objekts. Die Datenbrille weist eine Bildaufnahmeeinrichtung, eine Wärmebildaufnahmeeinrichtung, eine Recheneinrichtung und eine Anzeigeeinrichtung auf, wobei die Datenbrille dazu ausgebildet ist, das Verfahren nach einer der vorhergehenden Ausführungsformen durchzuführen. Insbesondere kann die Bildaufnahmeeinrichtung ein digitales Bild aufnehmen, die Wärmebildaufnahmeeinrichtung ein Wärmebild, und die Recheneinrichtung kann dazu ausgebildet sein, zumindest die Schritte c), d) und e) des Verfahrens durchzuführen. Die Anzeigeeinrichtung kann schließlich die thermischen Daten mittels einer virtuellen Projektion anzeigen. Hierdurch ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.
-
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Datenbrille, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Datenbrille hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Datenbrille gemäß einer beispielhaften Ausführungsform;
- 2 ein schematisches Verfahrensdiagramm gemäß einer beispielhaften Ausführungsform.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
In 1 ist eine Datenbrille 10 zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich 12 eines Objekts 14 schematisch dargestellt. Die Datenbrille 10 kann in diesem Ausführungsbeispiel eine Augmented-Reality-Brille sein, die thermische Daten mittels einer erweiterten Realität anzeigen kann. Das Objekt 14 ist in diesem Ausführungsbeispiel vereinfacht als volumetrischer Körper dargestellt, der einen Quader und einen Zylinder umfasst. Das Objekt 14 kann aber vorzugsweise ein Bauteil oder eine Maschine sein, insbesondere ein Bauteil eines Kraftfahrzeugs. Das Objekt 14 kann eine warme beziehungsweise heiße Oberfläche aufweisen, wobei beispielsweise nur die thermischen Daten des vorgegebenen Objektbereichs 12 überprüft werden sollen, der in diesem Ausführungsbeispiel die obere Kreisfläche des Zylinders umfassen kann. Die thermischen Daten können beispielsweise die Temperatur in dem Objektbereich 12 umfassen. Da Wärmestrahlung beziehungsweise infrarote Strahlung des Objekts 14 für das menschliche Auge nicht sichtbar ist, kann die Datenbrille 10 zur Visualisierung der thermischen Daten, insbesondere in dem Objektbereich 12, verwendet werden.
-
Dazu kann die Datenbrille 10 zunächst ein digitales Bild mittels einer Bildaufnahmeeinrichtung 16 und ein Wärmebild mittels einer Wärmebildaufnahmeeinrichtung 18 von dem Objekt 14 aufnehmen. Die Bildaufnahmeeinrichtung 16 kann eine digitale Kamera sein, die vorzugsweise bewegte Bilder des Objekts 14 in Echtzeit anfertigt. Die Wärmebildaufnahmeeinrichtung 18 kann eine monokulare Wärmebildkamera sein, die ein infrarotes Bild des Objekts 14, insbesondere des Objektbereichs 12 aufnimmt und in ein sichtbares Farbschema konvertiert. Vorzugsweise kann die Wärmebildaufnahmeeinrichtung 18 mehrere Wärmebilder (Infrarotbilder) aufnehmen, besonders bevorzugt zu jedem digitalen Bild jeweils eins.
-
Die Bildaufnahmeeinrichtung 16 und die Wärmebildaufnahmeeinrichtung 18 können räumlich aufeinander kalibriert sein, beispielsweise indem diese an vorgegebenen Positionen in der Datenbrille 10 angeordnet sind. Hierdurch können das digitale Bild der Bildaufnahmeeinrichtung 16 und das Wärmebild der Wärmebildaufnahmeeinrichtung 18 überlagert werden, so dass das Objekt in beiden Bildern übereinanderliegt. Die Überlagerung der beiden Bilder kann durch eine Recheneinrichtung 20 der Datenbrille 10 durchgeführt werden. Anschließend kann von der Recheneinrichtung 20 das aufgenommene digitale Bild mit einem digitalen Objektmodell (nicht gezeigt) überlagert werden. Vorzugsweise kann das digitale Objektmodell ein dreidimensionales Konstruktionsmodell des Objekts 14, das heißt beispielsweise ein CAD-Modell, sein.
-
Vorzugsweise kann das digitale Objektmodell mittels eines Bildanalysealgorithmus automatisch aus dem digitalen Bild erkannt werden. Das heißt, dass das digitale Bild der Bildaufnahmeeinrichtung 16 mittels eines Bildanalysealgorithmus, der mittels künstlicher Intelligenz das Bild analysieren kann, überprüft wird und das Objekt 14 erkennt. Daraufhin kann das digitale Objektmodell aus einem Speicher, beispielsweise einem Speicher der Recheneinrichtung 20, geladen werden, um das Objekt 14 in dem digitalen Bild zu überlagern. Hierfür kann ein Modellverfolgungsalgorithmus verwendet werden. Das heißt, dass zum Beispiel durch 3D-Model-Tracking das digitale Objektmodell (CAD-Modell des Objekts 14) stabil mit dem realen Objekt 14 überlagert werden kann.
-
Da das digitale Objektmodell ein Konstruktionsmodell des Objekts 14 sein kann, können Abmessungen und Grenzen, insbesondere eine Objektgrenze des Objektbereichs 12, bekannt sein. Daher kann mittels des digitalen Objektmodells das Wärmebild, das über das digitale Bild gelegt ist, segmentiert werden, so dass vorzugsweise der Objektbereich 12 mit den thermischen Daten darin segmentiert wird und einer Anzeigeeinrichtung 22 der Datenbrille 10 als virtuelle Projektion bereitgestellt wird.
-
Die Anzeigeeinrichtung 22 kann anschließend die virtuelle Projektion als erweiterte Realität anzeigen, insbesondere in Echtzeit. Das bedeutet, dass nur die thermischen Daten angezeigt werden, die von dem Objektbereich 12 stammen und alle anderen thermischen Daten der anderen Bereiche des Objekts 14 ausgeblendet werden können. Vorzugsweise kann zusätzlich zu den thermischen Daten auch das überlagerte digitale Objektmodell mittels der Anzeigeeinrichtung 22 zusätzlich angezeigt werden, so dass weitere Informationen bereitgestellt werden können.
-
Somit können mittels der Datenbrille die thermischen Daten nur des Objektbereichs 12 angezeigt werden. Da die hierfür notwendigen Verfahrensschritte wenig Rechenaufwand durch die Recheneinrichtung 20 benötigen, kann das Verfahren zur Anzeige der thermischen Daten in Echtzeit durchgeführt werden, was den Vorteil ergibt, dass auch bewegliche Objekte 14 analysiert werden können.
-
In 2 ist ein schematisches Verfahrensdiagramm zum Anzeigen thermischer Daten auf zumindest einem vorgegebenen Objektbereich 12 eines Objekts 14 durch eine Datenbrille 10 dargestellt. In einem Schritt S10 wird ein digitales Bild des Objekts 14, das zumindest den vorgegebenen Objektbereich 12 aufweist, durch eine Bildaufnahmeeinrichtung 16 aufgenommen. In einem Schritt S12 wird ein Wärmebild des Objekts 14 durch eine Wärmebildaufnahmeeinrichtung 16 aufgenommen, wobei das Wärmebild zumindest die thermischen Daten des vorgegebenen Objektbereichs 12 umfasst.
-
In einem Schritt S14 wird das digitale Bild der Bildaufnahmeeinrichtung 16 mit dem Wärmebild der Wärmebildaufnahmeeinrichtung 18 überlagert, wobei das Objekt im digitalen Bild und im Wärmebild übereinandergelegt wird. In einem Schritt S16 wird das Objekt 14 in dem digitalen Bild mit einem digitalen Objektmodell des Objekts überlagert, wobei das digitale Objektmodell den vorgegebenen Objektbereich 12 in digitaler Form aufweist. In einem Schritt S18 wird das Wärmebild mittels des überlagerten digitalen Objektmodells segmentiert, wobei zumindest der vorgegebene Objektbereich 12 mit den thermischen Daten des Objektbereichs 12 segmentiert und einer Anzeigeeinrichtung 22 der Datenbrille 10 als virtuelle Projektion bereitgestellt wird.
-
Schließlich wird in einem Schritt S20 die virtuelle Projektion der thermischen Daten auf dem segmentierten, vorgegebenen Objektbereich durch die Anzeigeeinrichtung 22 angezeigt.
-
In einer weiteren beispielhaften Ausführungsform besteht ein Aspekt darin, dass ein Augmented Reality (AR) Head Mounted Display (HMD) (Datenbrille 10) zur 3D-Visualisierung von Oberflächentemperaturen von Objekten (14) in Echtzeit verwendet wird. Technisch kann dies durch Projektion von Infrarotsensordaten auf eine bekannte 3D-Geometrie des Objekts mittels sogenanntem „CAD-Model-Tracking“ durchgeführt werden. Hierfür ist lediglich eine monokulare Infrarotkamera (18) nötig, also weder Stereokameras noch Tiefeninformationen.
-
Durch die Verwendung eines angepassten AR-HMD zur 3D-Visualisierung von Oberflächentemperaturen von Objekten (14) in Echtzeit kann ein Anwender zeitliche und räumliche Schwankungen in der Oberflächentemperatur erkennen und messen. Eine Anpassung des HMD (10) erfolgt hierbei lediglich durch Integration einer monokularen Wärmebildkamera (18). Des Weiteren kann mittels des exakten, virtuellen 3D-CAD-Modells des Objekts und der Technik des 3D-Model-Trackings das reale Objekt (14) stabil überlagert werden. Vorzugsweise sind die Wärmebildkamera (18) und die optische Kamera (16) jeweils extrinsisch und intrinsisch kalibriert, das heißt, zu jedem Pixel der optischen Kamera bestehen auch Informationen über die Oberflächentemperatur, gemessen von der Wärmebildkamera (18). Diese Temperaturinformationen können nun durch Computervision-Techniken auf die Oberfläche des virtuellen 3D-CAD-Modells projiziert werden und dem Anwender als optische 3D-Temperaturüberlagerung visualisiert werden. Durch die gezielte Projektion der thermischen Daten der Wärmebildkamera (18) auf die Oberflächen eines dreidimensionalen Objekts kann die thermische Augmentierung selektiv nur für einzelne Oberflächenteile (12) oder bestimmte Flächensegmente (12) visualisiert werden. Damit wird vermieden, größere Teile des Sichtfelds mit Wärmebilddaten zu überlagern.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine thermisch erweiterte Realität durch 3D-Model-Tracking bereitgestellt werden kann.
