CH718751A2 - Verfahren zum Verwenden von BIM Daten in einer Augmented Reality Anwendung und Computerprogrammprodukt zum Durchführen des Verfahrens. - Google Patents

Abstract

Das erfindungsgemässe Verfahren stellt Elemente (6) eines BIM Modells passend den Bildern des realen Gebäudes überlagert auf einem Display eines mobilen Gerätes dar. Dazu werden in einem Positionierungsschritt auf einem 2d Grundrissplan (2) eine aktuelle Position (11) und Blickrichtung (12) eingegeben, im Modell Informationen zur Lage eines Modell-Schnittpunkts (9) und zur Ausrichtung mindestens eines Modell-Flächenabschnitts (8, 5, 5) ermittelt, Informationen zu mindestens einem mit der Kamera des mobilen Gerätes am realen Gebäude erfassten realen Schnittpunkt (9') und zur Ausrichtung mindestens eines realen Flächenabschnitts (8', 5', 5') ermittelt und aus diesen Informationen eine Transformation bestimmt. Mit der Transformation können die gewählten Elemente (6) des Modells passend den Bildern des realen Gebäudes überlagert auf dem Display des mobilen Gerätes dargestellt werden.

Description

[0001] Die Erfindung betrifft Verfahren zum Verwenden von BIM Daten in einer Augmented Reality Anwendung (AR-Anwendung) und ein Computerprogrammprodukt zum Durchführen des Verfahrens.

[0002] Bei der Planung und Realisierung von Bauten werden immer häufiger möglichst viele Informationen in einem BIM (Building Information Modelling) Modell auf einem Rechner bzw. in einer Datenbank gesammelt und in einer BIM Anwendung verarbeitet. BIM Anwendungen umfassen dreidimensionale Modelle mit Informationen zu den Elementen von Gebäuden, also beispielsweise zu Böden, Decken, Wänden, Türen, Fenstern und Haustechnik-Installationen. Gebäudeelemente des Modells, deren Form und Lage, können in perspektivischen Darstellungen dreidimensional visualisiert werden.

[0003] Wenn nun beim realen Gebäude auf einem Display eines mobilen Gerätes Elemente des Modells dargestellt werden, so kann diese Darstellung beim Erstellen oder Ändern des Gebäudes oder bei der Kontrolle der erstellten oder geänderten Elemente verwendet werden. Auf dem Display können Informationen des Modells in einer gewählten Ansicht dargestellt werden. Wenn Informationen des Modells verwendet werden, ist die Zuordnung von Elementen des Modells zum realen Gebäude nur über manuelles, visuelles Vergleichen und über physisches Vermessen möglich. Um das Vergleichen zu erleichtern und präziser zu ermöglichen, werden von Anwendungen im Bereich der angereicherten Realität, bzw. Augmented Reality (AR), Ansichten des realen Gebäudes zusammen mit passend zugeordneten Bildern des Modells zugänglich gemacht.

[0004] Geräte für Anwendungen im Bereich der angereicherten Realität, bzw. Augmented Reality (AR), sind mobile Geräte, die zumindest eine Anzeigevorrichtung bzw. ein Display und eine Kamera umfassen. Von der Kamera aufgenommene Bilder werden passend mit Anreicherungsinformationen bzw. virtuellen Informationen ergänzt. AR-Anwendungen laufen beispielsweise auf Smart Phones, Tablets oder auf Geräten mit auf dem Kopf getragenen Bildschirmen, bzw. Head-Mounted-Displays (HMD). Wenn die AR-Anwendungen mit BIM Anwendungen kombiniert werden, so stammen die mit den Bildern der realen Umgebung, bzw. der realen Gebäudeelemente, überlagerten virtuellen Informationen aus der BIM Anwendung.

[0005] Gängige AR-Geräte verwenden Signale von Bewegungssensoren und Informationen aus einer auf der Auswertung von Bildinformationen basierenden simultanen Positionierung und Kartierung (SLAM) zur Bestimmung der jeweils aktuellen Geräteposition und Geräteausrichtung sowie der Position und Ausrichtung von Elementen der realen Umgebung. Die Kenntnis der Position und der Ausrichtung des Geräts sowie von Elementen auf den vom Gerät erfassten Bildern ermöglicht es, virtuelle Informationen mit vorgegebenen Positionen und Ausrichtungen auf der jeweils aktuell von der Kamera des Gerätes erfassten und auf dem Display abgebildeten realen Ansicht passend darzustellen.

[0006] Die AR-Geräte erfassen Positionsdaten von Bildelementen und führen zum Bestimmen von Positionen und Ausrichtungen in der realen Umgebung Triangulationsschritte durch. Auf dem von Apple entwickelten Betriebssystem iOS kann zum Beispiel die AR-Anwendung ARKit eingesetzt werden. Die aktuelle AR-Geräteposition und -richtung wird in von der AR-Anwendung festgelegten AR-Koordinaten der realen Umgebung erfasst. Für eine passende Überlagerung müssen die in Modellkoordinaten vorliegenden Modellinformationen für entsprechende AR-Koordinaten der realen Umgebung bezogen werden können.

[0007] Um das AR-Koordinatensystem mit einem der Umgebung fix zugeordneten Koordinatensystem oder einem vorgegebenen Modell-Koordinatensystem in Verbindung zu bringen, könnten lokale oder globale Positionierungsinformationen, beispielsweise GPS, verwendet werden. Wenn der Zuordnungsschritt in einem Gebäude mit Böden, Decken und gegebenenfalls Wänden erfolgen soll, so stehen dem mobilen Gerät mit der AR-Anwendung meist ungenaue GPS-Daten und auch keine anderen Positionierungsinformationen zur Verfügung.

[0008] Es gibt Lösungen, bei denen Markierungen am Gebäude angebracht werden, deren Positionen in einem vorgegebenen Koordinatensystem bekannt sind, so dass zu den mit der AR-Anwendung bestimmten AR-Koordinaten jeder mit der Kamera erfassten Markierung auch deren Position im vorgegebenen Koordinatensystem bekannt ist. Wenn im ganzen Gebäude das AR-Koordinatensystem über Markierungen an ein vorgegebenes Koordinatensystem angebunden sein soll, so entsteht ein grosser Aufwand. Selbst bei der Verwendung von sehr vielen Markierungen gibt es Teilbereiche des Gebäudes, in denen keine für das Anbinden an das vorgegebene Koordinatensystem genügende Anzahl von Markierungen erfasst werden können.

[0009] Es gibt auch Lösungen, bei denen das AR-Gerät Positionen in der realen Umgebung und entsprechende Positionen im Modell über Triangulation ermittelt, wobei dann eine benützende Person mindestens zwei von der Kamera erfassten realen Flächen entsprechende Flächen im Modell zuweisen muss. Das anschliessend von der AR-Anwendung durchzuführende zueinander Justieren bzw. räumlich Zuordnen von Modell und Realität anhand der einander zugewiesenen Flächen der Realität und des Modells ist meist nicht genügend genau oder überbestimmt, so dass die benützende Person eine manuell gesteuerte Korrektur durchführen muss, bis auf dem überlagerten Bild eine gewünschte Passung erzielt wird.

[0010] Es gibt auch Lösungen, bei denen das Zuordnen von Realität und Modell nur durch manuell gesteuertes Verschieben, Drehen und gegebenenfalls Vergrössern/Verkleinern des Modells auf dem Bild der Realität erzielt werden muss, bis auf dem überlagerten Bild eine gewünschte Passung erzielt wird.

[0011] Bereits kleine, bei der Triangulation oder beim manuellen Zuordnen auftretende Abweichungen zwischen den Ausrichtungen des Modells und der Realität im Bereich der für die Zuordnung verwendeten Flächen führen in grösseren Abständen von diesem Bereich zu starken Abweichungen zwischen dem Modell und der Realität.

[0012] US 10 282 913 B2 beschreibt Lösungen, bei denen beispielsweise für Computer-Spiele Ansichten der realen Welt mit Elementen eines Modells ergänzt werden. Aus dem Modell erzeugte, dreidimensionale Punktwolken (point cloud) von Modellbereichen bzw. Objekten werden mit in der realen Welt bestimmten, bzw. von realen Objekten erzeugten, Punktwolken verglichen. Wenn eine aus Bildern ermittelte Punktwolke mit einer Punktwolke des Modells übereinstimmt, kann das Modell der Ansicht der realen Welt zugeordnet werden. Für die in US 10 282 913 B2 beschriebene Zuordnung muss die Punktwolke eines spezifischen realen Objekts eindeutig mit einer einzigen passenden Punktwolke eines Modelobjekts übereinstimmen.

[0013] Beim Zuordnen eines Bereichs eines Gebäudemodells zu einem Bereich eines realen Gebäudes, gibt es keine genügend spezifischen Objekte, die eine eindeutige Zuordnung eines von einer Kamera erfassten, realen Objektes zu einem Objekt des Modells zulassen. Gebäude und somit auch Gebäudemodelle umfassen sehr viele ähnliche Objekte bzw. Elemente, so dass Punktwolken von verschiedenen Objekten übereinstimmen und keine eindeutige Zuordnung von Objekten des realen Gebäudes und des Modells möglich ist. In Gebäuden trifft man auf verschiedenen Stockwerken und in verschiedenen Räumen immer wieder auf gleiche Gebäudeelemente, so dass der dreidimensionalen Form eines Gebäudeelementes keine eindeutige Lage im dreidimensionalen Raum zugeordnet werden kann.

[0014] Die erfindungsgemässe Aufgabe besteht nun darin eine einfache Lösung zu finden, welche bei einem Bereich eines realen Gebäudes Ansichten des realen Gebäudes zusammen mit zugeordneten Elementen des Modells mit kleinem Aufwand und genau passend überlagert zugänglich macht.

[0015] Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. durch ein Computerprogrammprodukt nach Anspruch 15 gelöst. Die abhängigen Ansprüche beschreiben alternative bzw. vorteilhafte Ausführungsvarianten, welche weitere Aufgaben lösen.

[0016] Beim erfindungsgemässen Verfahren zum Verwenden von BIM Daten in einer AR-Anwendung werden mit der Kamera eines mobilen Gerätes Bilder eines Bereichs eines realen Gebäudes erfasst. Eine ermittelte Zuordnung eines von den BIM Daten umfassten Modells zu den erfassten Bildern ermöglicht es, gewählte Elemente des Modells passend den Bildern des realen Gebäudes überlagert auf einem Display des mobilen Gerätes darzustellen.

[0017] Das Verfahren umfasst einen Positionierungsschritt, der es einer Person, die das mobile Gerät benützt, ermöglicht auf einem auf dem Display dargestellten 2d Grundrissplan eine aktuelle Position und Blickrichtung einzugeben. Es wäre auch möglich, dass die Person auf dem 2d Grundrissplan einen Vorschlag für eine Position und Blickrichtung erhält, die sie dann bestätigen müsste.

[0018] Zu der auf dem 2d Plan eingegebenen oder bestätigten aktuellen Position und Blickrichtung werden im Modell Informationen in Modell-Koordinaten zur Lage genau eines Modell-Schnittpunkts von drei Modell-Flächenabschnitten und zur Ausrichtung mindestens eines Modell-Flächenabschnittes, vorzugsweise relativ zur Blickrichtung ermittelt.

[0019] Es werden zudem Informationen in AR-Koordinaten zu mindestens einem mit der Kamera des mobilen Gerätes von der aktuellen Position aus, in der eingegebenen und aktuellen Blickrichtung, im realen Gebäude erfassten realen Schnittpunkt von drei realen Flächenabschnitten und zur Ausrichtung mindestens eines der drei realen Flächenabschnitte, vorzugsweise relativ zur Blickrichtung bzw. zur optischen Achse der Kamera ermittelt.

[0020] Die Information zur Ausrichtung mindestens eines Modell-Flächenabschnittes muss der Information zur Ausrichtung mindestens eines realen Flächenabschnitts entsprechen und diese Informationen müssen so gewählt sein, dass sie zusammen mit den Informationen zur Lage des Modell-Schnittpunktes und des realen Schnittpunktes eine Zuordnung von Modell-Koordinaten zu AR-Koordinaten, bzw. eine Transformation vom einen zum anderen Koordinatensystem, ermöglichen. Eine Information zur Ausrichtung einander entsprechender Flächen kann aus der Ausrichtung einer Fläche oder auch aus der Ausrichtung von zwei oder drei Flächen bestimmt werden. Gemäss einer vorteilhaften Lösung geht die Information zur Ausrichtung aus einer Mittelung über zwei oder drei Flächen hervor.

[0021] Auf dem Display des mobilen Gerätes werden aus den Informationen zum Modell-Schnittpunkt und aus den Informationen zum mindestens einen realen Schnittpunkt abgeleitete Visualisierungen darstellt.

[0022] In einem Zuordnungsschritt wird der Person, die das mobile Gerät benützt, ermöglicht auf dem Display, vorzugsweise auf einer überlagerten Darstellung die Visualisierung zum Modell-Schnittpunkt einer Visualisierung eines entsprechenden realen Schnittpunkts zuzuordnen bzw. eine richtige Überlagerung zu bestätigen.

[0023] Aus der Lage des Modell-Schnittpunkts und der Ausrichtung mindestens eines der drei Modell-Flächenabschnitte sowie aus der Lage des zugeordneten realen Schnittpunkts und der Ausrichtung mindestens eines entsprechenden realen Flächenabschnittes wird eine Transformation bestimmt, mit der die gewählten Elemente des Modells passend den Bildern des realen Gebäudes überlagert auf dem Display des mobilen Gerätes dargestellt werden können.

[0024] Im Rahmen der Erfindung wurde erkannt, dass das schnelle und exakte Zuordnen von Elementen aus dem BIM Modell zu Ansichten des realen Gebäudes von den für benützende Personen bzw. Baufachleute einfach zugänglichen und erkennbaren Informationen ausgehen muss. Die benützende Person kann sich auf dem 2d Grundrissplan und im realen Gebäude gut orientieren, weil Grundrisspläne einfach zu lesen sind und der Weg im Gebäude zu einer aktuellen Position effektiv erlebbar ist.

[0025] Das Suchen einer Position im dreidimensionalen Modell ist wesentlich schwieriger, weil bei einer Positionssuche im Modell nur visuelle Informationen verwendet werden können und diese aufgrund der Abstraktheit von Modellen auch noch weniger differenziert und nicht auf die Wahrnehmung durch die spezifische Person ausgerichtet sind. Die Positionssuche im 3d Modell auf einem mobilen Gerät muss mit Hilfe des kleinen Displays durchgeführt werden, was die Möglichkeiten einschränkt und die Gefahr der Wahl einer falschen Modellposition erhöht. Für die aus dem Stande der Technik bekannte Lösung, bei der zwei Wände im Modell und zwei Wände im realen Gebäude einander zugeordnet werden müssen, um nach Triangulationsschritten Modell und reale Umgebung einander zuzuordnen, müssen nebst der Position auch die passenden Wände im Modell gewählt werden. Aufgrund der eingeschränkten Orientierung im Modell ist auch die Wahl der passenden Wände fehleranfällig.

[0026] Wie bereits erwähnt, wurde im Rahmen eines ersten erfinderischen Schrittes erkannt, dass Baufachleute ihre aktuelle Position in einem Gebäude auf einem passenden zweidimensionalen Grundrissplan des Gebäudes sehr schnell und richtig lokalisieren können. Auch die Kontrolle, oder gegebenenfalls nötige Wahl, des passenden Grundrissplans ist für Baufachleute einfach. Sie kennen aufgrund ihres im realen Gebäude zurückgelegten Weges die Bezeichnung des Stockwerks ihrer aktuellen Position. Wenn der Grundrissplan nicht schon bereitsteht, wird dieser nach der Eingabe der Bezeichnung des aktuellen Stockwerks auf dem Touch-Display des mobilen Geräts dargestellt. Auf dem 2d Grundrissplan kann die aktuelle Position und eine Blickrichtung durch Touch-Gesten wie Ziehen und Drehen mit kleinem Aufwand richtig eingegeben werden.

[0027] Im Rahmen eines zweiten erfinderischen Schrittes wurde erkannt, dass sich ein Punkt, der auf drei verschieden ausgerichteten Flächen von Gebäudeelementen liegt, also ein einziger Schnittpunkt von drei Flächen, zusammen mit diesen Flächen eignet, um das 3d Modell, bzw. das Modell-Koordinatensystem, präzise dem von einer AR-Anwendung verwendeten AR-Koordinatensystem des realen Gebäudes zuzuordnen. Schnittpunkte von drei Gebäudeflächen treten in konkaver Form beispielsweise zwischen zwei Wandabschnitten und einem Bodenabschnitt und in konvexer Form zwischen einem Boden und einer Öffnung in einer Wand oder einer im horizontalen Querschnitt rechteckigen Säule auf. Auch bei einer in der Draufsicht rechteckigen Öffnung in einem Boden gibt es zwischen der Bodenfläche und zwei aneinander anschliessenden die Öffnung umgebenden und den Boden berandenden Flächen einen gemeinsamen Schnittpunkt.

[0028] Schnittpunkte von drei im Wesentlichen je senkrecht zueinanderstehenden Flächenabschnitten, wie einem Bodenabschnitt und zwei zum Bodenabschnitt vertikal verlaufenden, aneinander anschliessenden Flächenabschnitte, gibt es auf einem im Bau befindlichen Stockwerk eines Gebäudes bereits, wenn auf diesem Stockwerk noch kaum etwas aufgebaut ist. Mit einer AR-Anwendung wie zum Beispiel Apple ARKit können solche von der Kamera erfassten horizontalen und vertikalen Flächen erkannt, vermessen sowie typisiert werden.

[0029] In einem dritten erfinderischen Schritt wurde erkannt, dass es für Baufachleute einfach ist, ausgehend von einer auf dem Grundrissplan eingegebenen und eingezeichneten aktuellen Position eine Blickrichtung zu wählen und damit im Grundrissplan anzugeben, in welcher Blickrichtung im realen Gebäude ein Schnittpunkt zwischen drei Flächenabschnitten von Gebäudeelementen zu sehen ist.

[0030] Ausgehend von der auf dem 2d Grundrissplan eingetragenen Position und der eingetragenen Blickrichtung werden im BIM Modell ein Eckpunkt bzw. Schnittpunkt und dessen drei Flächenabschnitte ermittelt, der bzw. die ausgehend von der Position innerhalb von Raumwinkeln zur Blickrichtung liegen, also vor der angegebenen Position. Der ermittelte Schnittpunkt in Modell-Koordinaten und die drei Flächenabschnitte werden aus Informationen des 3d Modells bereitgestellt. Der Schnittpunkt von drei sich in einem Punkt schneidenden Ebenen kann mit einem linearen Gleichungssystem und insbesondere unter Verwendung der Cramerschen Regel eindeutig und präzise bestimmt werden. Die Ausrichtungen der sich bei diesem Schnittpunkt schneidenden Flächenabschnitte können in Modell-Koordinaten charakterisiert werden. Die Information zur Ausrichtung mindestens eines der drei Flächenabschnitte ermöglicht die Bestimmung eines Winkels zwischen der Blickrichtung und dem Flächenabschnitt.

[0031] In einer bevorzugten Ausführung ist je einer der drei Flächenabschnitte horizontal und die anderen beiden sind vertikal ausgerichtet, wobei die beiden vertikal ausgerichteten Flächenabschnitte orthogonal zueinander ausgerichtet sind und eine gemeinsame Kantenlinie aufweisen. Der Winkel zwischen einem der beiden vertikalen Flächenabschnitte und der Blickrichtung von der eingegebenen Position zur Kantenlinie kann als Rotations-Information der Lage des Schnittpunkts zugeordnet werden, um den zugehörigen Modell-Eckpunkt in Modell-Koordinaten vollständig zu charakterisieren.

[0032] Aus dem Modell oder dem Grundrissplan ist auch ein Abstand zwischen dem Schnittpunkt und der Position, die auf dem Grundrissplan angegeben wurde, bekannt. Der im Modell ermittelte Eckpunkt, bzw. Schnittpunkt der drei Flächenabschnitte, und gegebenenfalls die Rotations-Information werden in einer von der eingetragenen Position aus in der eingetragenen Blickrichtung erstellten Modellansicht visualisiert. Die Visualisierung kann unter Berücksichtigung des erwähnten Abstands und der optischen Abbildungseigenschaft der Kamera des Mobilgerätes als Ansicht erstellt werden, die mit einer von der Kamera erfassten Ansicht der realen Umgebung übereinstimmt.

[0033] Damit diese Modellansicht mit einer entsprechenden Ansicht des realen Gebäudes auf dem Display eines mobilen Gerätes dargestellt werden kann, muss die Kamera des mobilen Gerätes im Wesentlichen von der Position aus, welche der im Grundrissplan angegebenen Position entspricht, in der Richtung ausgerichtet sein, welche der im Grundrissplan angegebenen Blickrichtung entspricht.

[0034] Damit dem mobilen Gerät bei der Überlagerung der Modellansicht mit der realen Ansicht ein AR-Koordinatensystem zur Verfügung steht, muss die AR-Anwendung vorgängig auf dem mobilen Gerät mit den dafür nötigen Kamerabewegungen initialisiert werden. Nach der Initialisierung der AR-Anwendung wird die Kamera von der vorgängig auf dem Grundrissplan angegebenen Position aus in der angegebenen Blickrichtung gegen mindestens einen realen Eckpunkt, bzw. Schnittpunkt von drei realen Flächenabschnitten, gerichtet. In der AR-Anwendung, beispielsweise ARKit, wird das Vermessen und Typisieren der von der Kamera erfassten Flächenabschnitte vorzugsweise der horizontalen und vertikalen Flächen in AR-Koordinaten durchgeführt.

[0035] Zu jeweils drei von der AR-Anwendung vermessenen und typisierten Flächenabschnitten wird die Lage eines gemeinsamen Schnittpunkts und eine Information zur Ausrichtung mindestens einer der drei Flächenabschnitte in AR-Koordinaten ermittelt. Der Schnittpunkt von drei sich in einem Punkt schneidenden Ebenen kann mit einem linearen Gleichungssystem und insbesondere unter Verwendung der Cramerschen Regel eindeutig und präzise bestimmt werden. Die Information zur Ausrichtung mindestens einer der drei Flächenabschnitte in AR-Koordinaten ermöglicht die Bestimmung eines Winkels zwischen der Blickrichtung, bzw. der optischen Achse der Kamera, und dem Flächenabschnitt.

[0036] In einer bevorzugten Ausführung ist je einer der drei Flächenabschnitte horizontal ausgerichtet und die anderen beiden sind vertikal ausgerichtet, wobei die vertikal ausgerichteten Flächenabschnitte insbesondere zueinander orthogonal ausgerichtet sind und eine gemeinsame Kantenlinie aufweisen. Der Winkel zwischen einem der beiden vertikalen Flächenabschnitte und der Blickrichtung bzw. der optischen Achse der Kamera kann als Rotations-Information der Lage des Schnittpunkts zugeordnet werden, um den zugehörigen realen Eckpunkt in AR-Koordinaten vollständig zu charakterisieren. Auch die Kameraposition und der Abstand zwischen Kamera und Schnittpunkt sind in AR-Koordinaten bekannt.

[0037] Die Lage mindestens eines realen Schnittpunktes, vorzugsweise mit dessen Ausrichtungs- insbesondere Rotationsinformation, wird zusammen mit dem Modell-Schnittpunkt und vorzugsweise mit dessen Ausrichtungsinsbesondere Rotationsinformation auf dem Display visualisiert. Die Person, welche das erfinderische Verfahren anwendet, muss nun nur noch einen visualisierten realen Schnittpunkt dem vom Modell angebotenen visualisierten Modell-Schnittpunkt richtig zuordnen oder eine Zuordnung bestätigen.

[0038] Nach dieser Zuordnung kann aus der Position des realen Schnittpunkts und der zugeordneten Ausrichtungsinsbesondere Rotationsinformation in AR-Koordinaten und der Lage des Modell-Schnittpunkts und der zugeordneten Ausrichtungs- insbesondere Rotationsinformation in Modell-Koordinaten eine Transformation bestimmt werden, mit der gewählte Elemente des Modells passend den Bildern des realen Gebäudes überlagert werden können. Unter Verwendung der so bestimmten Transformation können nun für beliebige Kamerapositionen und -ausrichtungen gewählte Elemente des Modells präzise überlagert auf dem jeweiligen Bild der realen Umgebung dargestellt werden.

[0039] Im Rahmen des Baufortschrittes ändern sich die sichtbaren Oberflächen von Elementen eines Gebäudes. Es gibt Bauphasen in denen Böden und/oder Wände lediglich von Oberflächen der Tragstruktur, beispielsweise von Betonoberflächen, gebildet sind. Mit zunehmendem Baufortschritt werden weitere Elemente aufgebaut, wie beispielsweise Dämmschichten, Heizungselemente, Estrich und finale Oberflächenschichten, wie beispielsweise Parkett oder Putz.

[0040] BIM Anwendungen können übereinander aufgebaute Schichten und deren Oberflächen als BIM-Typen bereitstellen. Um für jeden Baufortschritt eine präzise Transformation bestimmen zu können, ermöglicht eine vorteilhafte Ausführungsform des erfindungsgemässen Verfahrens, dass für die Zuordnung eines Modell-Schnittpunkts zu einem realen Schnittpunkt der BIM-Typ gewählt werden kann, welcher den real sichtbaren Oberflächen des aktuellen Baufortschritts entspricht. Mit der zum gewählten BIM-Typ bestimmten Transformation können alle Gebäudeelemente des Modells, deren Form und Lage, in perspektivischen Darstellungen auf den Bildern der realen Umgebung visualisiert werden.

[0041] Die erfinderische Lösung ermöglicht die passend überlagerte Darstellung von Kamera- und Modellinformationen mit kleinem Vorbereitungsaufwand und direkt an beliebigen Stellen des Gebäudes. Die benützende Person kann die AR-Anwendung für kurze Visualisierungen und Kontrollen schnell, einfach und genau passend einsetzen. Vor oder während dem Besuch des Gebäudes muss lediglich zumindest ein Ausschnitt des Modells und gegebenenfalls zumindest ein Grundrissplan auf das mobile Gerät geladen werden.

[0042] Vorteilhafte Ausführungsformen umfassen Schritte, welche die überlagerte Darstellung von mit der Kamera des mobilen Gerätes erfassten Ansichten und von Elementen des Modells erleichtern und verbessern. So wird beispielsweise die Masseinheit im Modell-Koordinatensystem und im AR-Koordinatensystem gleich gewählt. Vorzugsweise werden Koordinaten in Metern verwendet.

[0043] Die Transformation der Modellinformationen vom Modell-Koordinatensystem zum AR-Koordinatensystem wird vereinfacht, indem das Modell-Koordinatensystem sowie das AR-Koordinatensystem je eine vertikale Achse aufweisen, wobei der vertikale Versatz der Nullpunkte der vertikalen Achsen festgelegt wird und vorzugsweise bei null liegt.

[0044] Die Transformation wird weiter vereinfacht, wenn die Nullpunkte der beiden Koordinatensysteme auf der Bodenfläche des dem Grundrissplan zugeordneten Stockwerks angeordnet sind. Die Transformation der Modellinformationen in das AR-Koordinatensystem entspricht dann einer auf dieser Bodenfläche durchgeführten Verschiebung eines Koordinatenursprungs zum andern sowie einer anschliessenden Drehung um die zusammengeführten vertikalen Achsen bis zum passenden Übereinanderliegen der horizontalen Achsen.

[0045] Die für die Transformation nötige Verschiebung und Drehung ergeben sich aus den Differenzen der Schnittpunkt-Position und der Rotationsinformation im Modell und in der AR-Anwendung.

[0046] Zumindest die für eine gewünschte Überlagerungsdarstellung gewählten Elemente des Modells werden für das Darstellen auf dem Display des mobilen Gerätes im AR-Koordinatensystem zugänglich gemacht.

[0047] Die jeweils aktuelle Position und Ausrichtung der Kamera in AR-Koordinaten und zumindest eine optische Abbildungseigenschaft der Kamera ermöglichen es, zu den gewählten Elementen des Modells im von der Kamera erfassten räumlichen Bereich eine perspektivische Ansicht für die Darstellung auf dem Display bereitzustellen.

[0048] In einer vorteilhaften Ausführungsform wird das ganze Modell in das Koordinatensystem der AR-Anwendung des mobilen Gerätes transformiert, so dass die mit der Kamera des mobilen Gerätes und der AR-Anwendung ermittelten Positionen realer Gebäudeelemente und auch die entsprechenden Gebäudeelemente des 3d Modells in AR-Koordinaten verwendet werden können und bei der überlagerten Darstellung auf dem Display exakt passend aufeinander liegen.

[0049] Gemäss einer weiteren vorteilhaften Ausführungsform wird vor dem Positionierungsschritt ein Wahlschritt durchgeführt, welcher es der Person, die das mobile Gerät benützt, ermöglicht mindestens eine Angabe zu dem auf dem Display darzustellenden 2d Grundrissplan einzugeben, vorzugsweise eine Bezeichnung des Stockwerks, auf dem sich die Person befindet.

[0050] Gegebenenfalls wird vor dem Wahlschritt ein Auszugsschritt durchgeführt, welcher mindestens einen 2d Grundrissplan und einen Ausschnitt des Modells dem mobilen Gerät zuführt. Um den Grundrissplan und das Modell einander zuzuordnen, werden zwei Stellen des Grundrissplans zwei entsprechenden Stellen des Ausschnitts des Modells zugeordnet. Danach kann der Ausschnitt des Modells unter Überlagerung dieser beiden Stellen passend auf dem Grundrissplan stehend perspektivisch dargestellt werden.

[0051] Das erfindungsgemässe Verfahren wird mit einem programmierbaren, bzw. einen Computer umfassenden, mobilen Gerät durchgeführt. Das mobile Gerät verwendet dabei ein Computerprogrammprodukt mit Befehlen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, das erfindungsgemässe Verfahren auszuführen.

[0052] Anhand einiger Figuren wird die Erfindung im Folgenden näher beschrieben. Dabei zeigen Figur 1 eine perspektivische Darstellung eines Ausschnitts aus einem 3d BIM Modell, welcher Ausschnitt auf einen passenden 2d Grundrissplan aufgesetzt ist, Figur 2 eine Darstellung des 2d Grundrissplans mit eingezeichneter Positionierung und Blickrichtung, sowie mit einem in einem Vorschaufenster in Blickrichtung perspektivisch dargestellten Ausschnitt des Modells mit visualisiertem Modell-Schnittpunkt, Figur 3 eine perspektivische Darstellung der mit einer Kamera erfassten realen Umgebung mit einem visualisierten realen Schnittpunkt, sowie mit einem Vorschaufenster einer perspektivischen Modell Darstellung mit visualisiertem Modell-Schnittpunkt und, Figur 4 eine perspektivische Darstellung der mit einer Kamera erfassten realen Umgebung mit einem visualisierten Modell-Schnittpunkt und mit überlagert dargestellten 3d Modell-Elementen, sowie mit einem Vorschaufenster mit dem Grundrissplan mit eingezeichneter Positionierung und Blickrichtung.

[0053] Fig. 1 zeigt eine perspektivische Darstellung eines Ausschnitts aus einem 3d BIM Modell 1, welcher Ausschnitt auf einen passenden 2d Grundrissplan 2 aufgesetzt ist. Eine solche Darstellung kann auf dem Display eines mobilen Gerätes dargestellt werden, wenn eine benützende Person in einem Wahlschritt beispielsweise die Bezeichnung eines Stockwerks eingegeben hat. Der Grundrissplan 2 und das 3d BIM Modell 1 sind einander so zugeordnet, dass der Ausschnitt des Modells 1 passend auf dem Grundrissplan 2 steht. Um diese passende Zusammenstellung darzustellen sind die Fensteröffnungen 3 des Modells 1 auch im Grundrissplan 2 schematisch als Rechtecke 4 im Grundriss der Wände 5 dargestellt. In einer Wand 5 sind im BIM Modell 1 enthaltene Leitungen 6 dargestellt. Diese Leitungen 6 stellen beispielhaft Elemente des BIM Modells dar. Weitere dargestellte Elemente des BIM Modells 1 sind eine Türöffnung 7 und eine von den beiden Wänden 5 und einem Boden 8 gebildete Raumecke mit dem Modell-Schnittpunkt 9, der auf beiden Wänden 5 und auf dem Boden 8 angeordnet ist.

[0054] Fig. 2 zeigt eine Darstellung des 2d Grundrissplans 2 in einer Draufsicht sowie in einem Vorschaufenster 10 einen perspektivisch dargestellten Ausschnitt aus dem 3d BIM Modell 1. Diese Darstellung wird im Rahmen eines Positionierungsschritts auf dem Display eines mobilen Gerätes dargestellt. Die Person, welche das mobile Gerät benützt, kann auf dem dargestellten 2d Grundrissplan 2 ihre aktuelle Position und Blickrichtung eingeben. In der in Fig. 2 dargestellten Situation ist die eingegebene Position mit dem Punkt 11 und die Blickrichtung mit zwei in gleichen Winkelabständen beidseits der Blickrichtung verlaufenden Winkelschenkeln 12 visualisiert.

[0055] Zu der auf dem 2d Grundrissplan 2 eingegebenen Position und Blickrichtung werden im BIM Modell 1 Informationen zur Lage eines Modell-Schnittpunkts von drei Modell-Flächenabschnitten in der Form der beiden Wände 5 und des Bodens 8 ermittelt. Um den im Modell 1 bestimmten Modell-Schnittpunkt zu visualisieren, wird ein Prisma verwendet. Beim bestimmten Modell-Schnittpunkt verlaufen die Wände 5 vertikal zum Boden 8 und orthogonal zueinander. Darum ist das Prisma als Modell-Quader 13 ausgebildet. Aufgrund des im Rahmen des Positionierungsschritts bestimmten und visualisierten Modell-Schnittpunkts, weiss die benutzende Person, welche entsprechende reale Raumecke in einem nachfolgenden Verfahrensschritt mit einer Kamera des mobilen Geräts erfasst werden muss.

[0056] Fig. 3 zeigt eine perspektivische Darstellung des mit der Kamera des mobilen Gerätes erfassten realen Raumes, wobei die Kamera bei dem in Fig. 2 dargestellten Punkt 11 positioniert und mit der optischen Achse in der Blickrichtung, bzw. zentral zwischen den Winkelschenkeln 12, ausgerichtet ist.

[0057] Damit dem mobilen Gerät ein AR-Koordinatensystem zur Verfügung steht, wird vor dem Erfassen der realen Raumecke eine AR-Anwendung auf dem mobilen Gerät mit den dafür nötigen Kamerabewegungen initialisiert. Nach der Initialisierung der AR-Anwendung wird die Kamera von der vorgängig auf dem Grundrissplan angegebenen Position aus in der angegebenen Blickrichtung gegen mindestens einen realen Eckpunkt, bzw. Schnittpunkt von drei realen Flächenabschnitten, gerichtet.

[0058] In der AR-Anwendung werden die von der Kamera erfassten Flächenabschnitte, bzw. der Boden 8' und zwei Wände 5', vermessen und typisiert. Zu den in der dargestellten Raumecke vermessenen und typisierten drei realen Flächenabschnitten 8' ,5' ,5' wird die Lage eines gemeinsamen realen Schnittpunkts 9' und eine Information zur Ausrichtung mindestens einer der drei realen Flächenabschnitte 8' ,5' ,5' in AR-Koordinaten ermittelt. Die Information zur Ausrichtung mindestens einer der drei realen Flächenabschnitte 8' ,5' ,5' in AR-Koordinaten ermöglicht die Bestimmung eines Winkels zwischen der Blickrichtung, bzw. der optischen Achse der Kamera, und dem Flächenabschnitt.

[0059] Der Winkel zwischen einem der beiden vertikalen Flächenabschnitte und der Blickrichtung bzw. der optischen Achse der Kamera kann als Rotations-Information der Lage des realen Schnittpunkts 9' zugeordnet werden, um den zugehörigen realen Eckpunkt in AR-Koordinaten vollständig zu charakterisieren. Auch die Kameraposition und der Abstand zwischen Kamera und realem Schnittpunkt 9' sind in AR-Koordinaten bekannt.

[0060] Die Lage des realen Schnittpunkts 9' zwischen dem Boden 8' und den beiden Wänden 5' wird vorzugsweise mit dessen Ausrichtungs- insbesondere Rotationsinformation in Fig. 3 visualisiert. Um den bestimmten realen Schnittpunkt 9' zu visualisieren, wird ein Prisma verwendet. Beim bestimmten realen Schnittpunkt 9' verlaufen die Wände 5' vertikal zum Boden 8' und orthogonal zueinander. Darum ist das Prisma als Eck-Quader 14 ausgebildet und in der dargestellten Raumecke eingesetzt. Wenn in einem mit den Winkelschenkeln 12 visualisierten Raumbereich weitere reale Schnittpunkte von drei Flächenabschnitten auftreten, so werden auch diese je mit einem Prisma visualisiert.

[0061] Fig. 3 zeigt im Vorschaufenster 10 den bereits in Fig. 2 dargestellten Ausschnitt aus dem 3d BIM Modell 1, wobei der Modell-Schnittpunkt vom Modell-Quader 13 visualisiert wird.

[0062] Die Person, welche das erfinderische Verfahren anwendet, muss nun nur noch einen in Fig. 3 dargestellten visualisierten realen Schnittpunkt 9' dem Modell-Schnittpunkt 9 zuordnen. In der dargestellten Situation gibt es nur einen visualisierten realen Schnittpunkt 9', bzw. einen Eck-Quader 14, und somit muss lediglich bestätigt werden, dass dieser Eck-Quader 14 dem im Vorschaufenster 10 dargestellten Modell-Quader 13 entspricht.

[0063] Nach dieser Zuordnung wird aus der Position des realen Schnittpunkts 9' und der zugeordneten Ausrichtungsinsbesondere Rotationsinformation in AR-Koordinaten und der Lage des Modell-Schnittpunkts 9 und der zugeordneten Ausrichtungs- insbesondere Rotationsinformation in Modell-Koordinaten eine Transformation bestimmt, mit der gewählte Elemente des Modells passend den Bildern des realen Gebäudes überlagert werden. Unter Verwendung der so bestimmten Transformation können nun für beliebige Kamerapositionen und -ausrichtungen gewählte Elemente des Modells 1 präzise überlagert auf dem jeweiligen Bild der realen Umgebung dargestellt werden.

[0064] Fig. 4 zeigt eine perspektivische Darstellung der mit einer Kamera erfassten realen Raumecke mit einem eingefügten visualisierten Modell-Schnittpunkt 9, bzw. mit dem Modell-Quader 13, der als Anker für den darunterliegenden realen Schnittpunkt 9' verwendet wurde. Mit der vorgängig ermittelten Transformation sind nun die im BIM Modell 1 enthaltene 3d Modell-Elemente, wie beispielsweise die Leitungen 6, in AR-Koordinaten bekannt und können für beliebige Kamerapositionen und Kameraausrichtungen richtig dem von der Kamera erfassten Bild überlagert werden.

[0065] Die jeweils aktuelle Position und Ausrichtung der Kamera in AR-Koordinaten und zumindest eine optische Abbildungseigenschaft der Kamera können verwendet werden, um zu den Leitungen 6 im von der Kamera erfassten räumlichen Bereich eine perspektivische Ansicht für die Darstellung auf dem Display bereitzustellen.

[0066] Wenn auf dem Display des mobilen Gerätes Bildern der realen Umgebung mit überlagerten 3d Modell-Elementen dargestellt werden, kann es für die benutzende Person vorteilhaft sein, die aktuelle Position und Ausrichtung der Kamera des mobilen Gerätes auf einem Grundrissplan 2 einzusehen. Dazu sieht die Ausführung gemäss Fig. 4 vor, dass ein Ausschnitt des Grundrissplans 2 gemäss Fig. 2 im Vorschaufenster 10' dargestellt wird. Anhand des Punktes 11 und der Winkelschenkeln 12 kann dem Ausschnitt des Grundrissplans die aktuelle Positionierung und Blickrichtung entnommen werden.

Legende der Bezugszeichen

[0067] 1 3d BIM Modell 2 2d Grundrissplan 3 Fensteröffnung 4 Rechteck 5 Wand 6 Leitung 7 Türöffnung 8 Boden 9 Modell-Schnittpunkt 10 Vorschaufenster 11 Punkt 12 Winkelschenkel 13 Modell-Quader 14 Eck-Quader

Claims (15)

1. Verfahren zum Verwenden von BIM Daten in einer AR-Anwendung, wobei mit der Kamera eines mobilen Gerätes Bilder eines Bereichs eines realen Gebäudes erfasst werden, eine Zuordnung eines von den BIM Daten umfassten Modells (1) zu den erfassten Bilder ermittelt wird und gewählte Elemente (6) des Modells (1) passend den Bildern des realen Gebäudes überlagert auf einem Display des mobilen Gerätes dargestellt werden,dadurch gekennzeichnet,dassdas Verfahren in einem Positionierungsschritt einer Person, die das mobile Gerät benützt, ermöglicht auf einem auf dem Display dargestellten 2d Grundrissplan (2) eine aktuelle Position (11) und Blickrichtung (12) einzugeben oder zu bestätigen, zu der auf dem 2d Grundrissplan (2) eingegebenen oder bestätigten aktuellen Position (11) und Blickrichtung (12) im Modell (1) Informationen zur Lage eines Modell-Schnittpunkts (9) von drei Modell-Flächenabschnitten (8, 5, 5) und zur Ausrichtung mindestens eines der drei Modell-Flächenabschnitte (8, 5, 5) ermittelt, Informationen zu mindestens einem mit der Kamera des mobilen Gerätes von der aktuellen Position (11) aus, in der eingegebenen Blickrichtung (12), am realen Gebäude erfassten realen Schnittpunkt (9') von drei realen Flächenabschnitten (8', 5', 5') und zur Ausrichtung mindestens eines der drei realen Flächenabschnitte (8', 5', 5') ermittelt, auf dem Display des mobilen Gerätes aus den Informationen zum Modell-Schnittpunkt (9) und aus den Informationen zum mindestens einen realen Schnittpunkt (9') abgeleitete Visualisierungen darstellt, in einem Zuordnungsschritt der Person, die das mobile Gerät benützt, ermöglicht zum Modell-Schnittpunkt (9) den entsprechenden realen Schnittpunkt (9') zuzuordnen oder zu bestätigen, und aus den Informationen zur Lage des Modell-Schnittpunkts (9) und zur Ausrichtung des mindestens einen Modell-Flächenabschnittes (8, 5, 5) sowie aus den Informationen zur Lage des zugeordneten realen Schnittpunkts (9') und zur Ausrichtung des mindestens einen realen Flächenabschnittes (8', 5', 5') eine Transformation bestimmt, mit der die gewählten Elemente (6) des Modells (1) passend den Bildern des realen Gebäudes überlagert auf dem Display des mobilen Gerätes dargestellt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor dem Positionierungsschritt ein Wahlschritt durchgeführt wird, welcher es der Person, die das mobile Gerät benützt, ermöglicht mindestens eine Angabe zu dem auf dem Display darzustellenden 2d Grundrissplan (2) einzugeben, vorzugsweise eine Bezeichnung des Stockwerks, auf dem sich die Person befindet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass vor dem Wahlschritt ein Auszugsschritt durchgeführt wird, welcher mindestens einen 2d Grundrissplan (2) und einen Ausschnitt des Modells (1) dem mobilen Gerät zuführt.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zwei Stellen des Grundrissplans (2) zwei entsprechenden Stellen des Ausschnitts des Modells (1) zugeordnet werden und der Ausschnitt des Modells (1) unter Überlagerung dieser beiden Stellen passend auf dem Grundrissplan (2) stehend perspektivisch dargestellt wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für die Zuordnung eines Modell-Schnittpunkts (9) zu einem realen Schnittpunkt (9') ein BIM-Typ gewählt wird, welcher den sichtbaren realen Flächenabschnitten (8', 5', 5') eines aktuellen Baufortschritts entspricht.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zum Ermitteln von Informationen zur Lage eines Modell-Schnittpunkts (9) ausgehend von der auf dem 2d Grundrissplan (2) eingegebenen oder bestätigten aktuellen Position (11) und Blickrichtung (12) innerhalb eines horizontal sich beidseits von der Blickrichtung (12) weg erstreckenden Winkelbereichs zwei der aktuellen Position zugewandte, direkt aneinander anschliessende, unterschiedlich ausgerichtete Gebäudeflächen (5, 5) ermittelt werden, die von einem im 2d Grundrissplan (2) dargestellten Boden (8) aufsteigen, vorzugsweise vertikal zum Boden (8), wobei der Boden (8) und die beiden aufsteigenden Gebäudeflächen (5, 5) die drei Modell-Flächenabschnitte (8, 5, 5) bilden, aus denen die Lage des Modell-Schnittpunkts (9) in Modell-Koordinaten berechnet wird, und wobei zumindest die Ausrichtung einer der beiden aufsteigenden Gebäudeflächen (5, 5) als Information zur Ausrichtung des mindestens einen Modell-Flächenabschnittes (5) in Modell-Koordinaten verwendet wird.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für den Boden (8) und die beiden aufsteigenden Gebäudeflächen (5, 5) ein lineares Gleichungssystem erstellt wird und der Modell-Schnittpunkt (9) die Lösung dieses Gleichungssystems bildet, wobei die Lösung des Gleichungssystems vorzugsweise unter Benützung der Cramerschen Regel bestimmt wird.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die AR-Anwendung auf dem mobilen Gerät mit den dafür nötigen Kamerabewegungen initialisiert wird und dabei ein AR-Koordinatensystem festlegt.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die AR-Anwendung von der Kamera erfasste, reale Flächenabschnitte (8', 5', 5'), vorzugsweise horizontale und vertikale Flächenabschnitte, in AR-Koordinaten vermisst und typisiert.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass zu jeweils drei, vorzugsweise einer horizontalen und zwei vertikalen, realen Flächenabschnitten (8', 5', 5'), die von der AR-Anwendung vermessen und typisiert sind, die Lage eines gemeinsamen realen Schnittpunkts (9') und eine Information zur Ausrichtung mindestens einer der drei realen Flächenabschnitte (8', 5', 5') in AR-Koordinaten ermittelt wird, wobei zur Bestimmung des realen Schnittpunkts (9') vorzugsweise ein lineares Gleichungssystem erstellt wird und der reale Schnittpunkt (9') die Lösung dieses Gleichungssystems bildet, wobei die Lösung des Gleichungssystems vorzugsweise unter Benützung der Cramerschen Regel bestimmt wird.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Masseinheit im Modell-Koordinatensystem und im AR-Koordinatensystem gleich ist, vorzugsweise Meter, und das Modell-Koordinatensystem sowie das AR-Koordinatensystem je eine vertikale Achse aufweisen, wobei der vertikale Versatz der Nullpunkte der vertikalen Achsen festgelegt wird und vorzugsweise bei null liegt.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Nullpunkte der beiden Koordinatensysteme vorzugsweise der Bodenfläche des dem Grundrissplan (2) zugeordneten Stockwerks zugeordnet sind und eine Transformation der Modellinformationen in das AR-Koordinatensystem durch eine Verschiebung eines Koordinatenursprungs zum andern sowie einer Rotation um die zusammengeführten vertikalen Achsen bis zum passenden Übereinanderliegen der horizontalen Achsen erzielt wird.

13. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass zumindest die gewählten Elemente (6) des Modells (1) für das Darstellen auf dem Display des mobilen Gerätes im AR-Koordinatensystem zugänglich gemacht werden.

14. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die jeweils aktuelle Position (11) und Ausrichtung der Kamera in AR-Koordinaten und zumindest eine optische Abbildungseigenschaft der Kamera verwendet werden, um zu den gewählten Elementen (6) im von der Kamera erfassten räumlichen Bereich eine perspektivische Ansicht für die Darstellung auf dem Display bereitzustellen.

15. Computerprogrammprodukt mit Befehlen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen.