DE102008002241A1

DE102008002241A1 - Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances

Info

Publication number: DE102008002241A1
Application number: DE200810002241
Authority: DE
Inventors: Wolfgang Niem; Matthias Roland; Sebastian Jackisch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-06-05
Filing date: 2008-06-05
Publication date: 2009-12-10

Abstract

The method involves producing individual photographs of a room by using a measurement system (10) with a video camera (16), and acquiring distances between the measurement system and spatial points of the room, where the acquired distances are associated to the individual photographs. Virtual three-dimensional models of the room are modeled by using an image processing process with respect to the distances. The virtual three-dimensional models are added by the individual recorders. An independent claim is also included for a measurement system for image-based measurement of a room or a partial area of the room.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes sowie ein Messsystem zum Durchführen eines solchen Verfahrens.The The present invention relates to a method for image-based measurement a room or a part of a room and a measuring system to perform of such a procedure.

Eine automatische dreidimensionale Vermessung von Räumen ist für Handwerker und Architekten von großem Interesse, da auf diese Weise ein Ist-Zustand von Räumen schnell erfasst und anstehende Arbeiten geplant werden können. Mit einer derartigen Vermessung kann ein Aufbau von Küchen, ein Einbau von Fenstern, eine Planung von Malerarbeiten, eine Erstellung von CAD-Daten und dergleichen unterstützt werden.A automatic three-dimensional measurement of spaces is for craftsmen and architects of great Interest, because in this way an actual state of spaces quickly recorded and upcoming work can be planned. With such Surveying can be a construction of kitchens, an installation of windows, a planning of painting works, a creation supported by CAD data and the like.

Derzeit verfügbare Systeme gliedern sich in handgehaltene, einpunktmessende Geräte, wie beispielsweise das BOSCH DLE 150, in stationäre 3D-Scanner und in stationäre halbautomatische Foto-Tachymeter, mit denen eine Fotogrammetrie durchführbar ist.Currently available Systems are divided into handheld, single-point measuring devices, such as For example, the BOSCH DLE 150, in stationary 3D scanners and in stationary semi-automatic Photo-total stations with which a photogrammetry is feasible.

Bei den handgehaltenen Geräten ist ein Abtragen von vorgegebenen Maßen, eine Minimum-Messung zur Ermittlung einer kürzesten Entfernung, z. B. einer Waagerechten von Wand zu Wand, eine Maximum-Messung zur Ermittlung einer größten Entfernung, z. B. einer Diagonalen eines Raumes, und eine indirekte Längenmessung zur Messung von Entfernungen, die nicht direkt gemessen werden können, z. B. eine Höhe einer Hauswand, möglich.at the hand-held devices is a removal of predetermined dimensions, a minimum measurement to Determining a shortest Distance, z. B. a horizontal wall to wall, a maximum measurement for determination a greatest distance, z. B. a diagonal of a room, and an indirect length measurement for measuring distances that can not be measured directly, eg. B. a height a house wall, possible.

Ferner sind bildbasierte Verfahren (”Structure-From-Motion” oder VSLAM) bekannt, die Ansätze zur gleichzeitigen Bestimmung von Form und Kameraposition aus Kamerabildern erlauben. Die erreich baren Rekonstruktionsgenauigkeiten sind hierbei aber nicht ausreichend.Further are image-based methods (Structure-From-Motion or VSLAM) known, the approaches to Simultaneous determination of shape and camera position from camera images allow. However, the achievable Rekonstruktionsgenauigkeiten here are unsatisfactory.

Bei einem weiteren bildbasierten Verfahren kann eine virtuelle zusammenhängende Gesamtaufnahme eines Raumes basierend auf mit einer Kamera erstellten, einander teilweise überdeckenden Einzelaufnahmen von Teilbereichen des Raumes modelliert werden, indem die Einzelaufnahmen miteinander kombiniert werden. Zur Kombination der Einzelaufnahmen werden automatisch lokale markante Merkmalspunkte in jeder Einzelaufnahme definiert, die unempfindlich gegen perspektivische Verzerrung sind und nachfolgend als Landmarken bezeichnet werden. Markant sind Raumpunkte, deren Eigenschaften von ihrem Hintergrund abweichen, so beispielsweise Vorsprünge und Aussparungen von Strukturelementen wie Bilder, Türen, Fenster oder dergleichen. Anschließend wird in den Einzelaufnahmen nach identischen Landmarken gesucht, um die überlappenden Abschnitte der Einzelaufnahmen ausfindig zu machen und um die Einzelaufnahmen zueinander auszurichten und zusammenzufügen. Auf diese Weise kann eine zusammenhängende virtuelle Gesamtaufnahme eines Raumes erzielt werden. Eine Skalierung von Strukturelementen, wie beispielsweise Höhen-, Breiten- und Tiefenmaße einer Tür, ist hingegen nicht vorgesehen. Diese kann aber nachträglich vorgenommen werden, indem zumindest ein Maß eines Strukturelementes, wie beispielsweise die Breite eines Türrahmens manuell erfasst und in einen entsprechenden Rechenalgorithmus eingegeben wird. Alle weiteren Abmessungen lassen sich dann berechnen. Allerdings ist eine nachträgliche Skalierung mit zusätzlichem Aufwand verbunden, was als nachteilig angesehen wird. Ferner können weitere Einzelaufnahmen nicht problemlos nachträglich in die virtuelle Gesamtaufnahme integriert werden. Werden also Abschattungen, wie beispielsweise Vorsprünge oder Aussparungen von Raumwänden, nicht sorgfältig anhand der Einzelaufnahmen dokumentiert, so ist die modellierte virtuelle Gesamtaufnahme lückenhaft. Schließlich ist es ohne großen Aufwand nicht möglich, Messergebnisse von anderen Messgeräten in die virtuelle Gesamtaufnahme zu integrie ren, wie beispielsweise den Feuchtigkeitszustand von Wänden, die Lage elektrischer Leitungen, etc.at Another image-based method can be a virtual coherent overall image a room based on a camera created with each other partially overlapping Single shots of partial areas of the room are modeled by combining the single shots. To the combination The individual shots automatically become local distinctive feature points defined in each single shot, insensitive to perspective Distortion and are referred to as landmarks. Markant are points of space whose properties are of their background deviate, so for example projections and recesses of structural elements like pictures, doors, Window or the like. Subsequently, in the individual shots after Identical landmarks searched for the overlapping sections of the To locate single shots and the single shots to each other align and join together. This allows a coherent overall virtual recording of a room. A scaling of structural elements, such as altitude, Width and depth dimensions a door, is not provided. This can be done later be at least one measure of a Structural element, such as the width of a door frame recorded manually and entered into a corresponding calculation algorithm becomes. All other dimensions can then be calculated. Indeed is an afterthought Scaling with additional Associated effort, which is considered disadvantageous. Furthermore, more Single shots not easily afterwards in the virtual total recording to get integrated. Will shadowing, such as projections or recesses of room walls, not carefully documented by the individual photographs, so is the modeled incomplete virtual recording. After all it is without big Effort not possible, Measurement results from other meters in the total virtual recording to integrate, such as the moisture state of walls the location of electrical lines, etc.

Ausgehend von diesem Stand der Technik ist es eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und Messsystem zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes zu schaffen.outgoing From this prior art it is an object of the present invention Invention, an alternative method and measurement system for image-based Measuring a room or a part of a room too create.

Offenbarung der ErfindungDisclosure of the invention

Zur Lösung dieser Aufgabe schafft die vorliegende Erfindung ein Verfahren nach Anspruch 1 und ein Messsystem nach Anspruch 17. Die abhängigen Ansprüche beziehen sich auf individuelle Ausgestaltungen der vorliegenden Erfindung.to solution In accordance with this object, the present invention provides a method Claim 1 and a measuring system according to claim 17. The dependent claims relate to individual embodiments of the present invention.

Bei dem erfindungsgemäßen Verfahren zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes wird zunächst eine Einzelaufnahme eines Raumes unter Verwendung eines eine Kamera aufweisenden Messsystems erzeugt. Ferner wird bevorzugt synchron mit der Einzelaufnahme zumindest ein Abstand zwischen dem Messsystem und dem Raumpunkt des Raumes erfasst, wobei der erfasste Abstand der Einzelaufnahme zugeordnet wird. Anhand dieser Zuordnung kann eine Skalierung von Strukturelementen des Raumes erfolgen, die auf der Einzelaufnahme zu erkennen sind. So kann beispielsweise die tatsächliche Länge der Bilddiagonalen der Einzelaufnahme in Kenntnis des Abstands des Messsystems von einem Raumpunkt des Raumes berechnet werden. Ist die tatsächliche Abmessung der Bilddiagonalen bekannt, so können darauf basierend auch Abmessungen einzelner Strukturelemente des Raumes berechnet werden, wie beispielsweise die Breite, Höhe und Tiefe eines Türrahmens oder dergleichen.In the method according to the invention for image-based measurement of a room or a partial area of a room, a single image of a room is first of all generated using a measuring system having a camera. Furthermore, at least one distance between the measuring system and the spatial point of the room is preferably detected synchronously with the individual recording, the detected distance being assigned to the individual recording. Based on this assignment, a scaling of structural elements of the room can take place, which can be recognized on the individual image. Thus, for example, the actual length of the image diagonals of the single image can be calculated with knowledge of the distance of the measuring system from a spatial point of the room. If the actual dimension of the image diagonals is known, dimensions of individual ones can be based on this Structural elements of the room are calculated, such as the width, height and depth of a door frame or the like.

Ferner werden weitere, einander teilweise überschneidende Einzelaufnahmen des Raumes bzw. von Raumbereichen unter Verwendung des eine Kamera aufweisenden Messsystems erzeugt, woraufhin ein vir tuelles 3D-Modell des Raums mithilfe einer Bildverarbeitungsmethode unter Berücksichtigung des erfassten Abstands anhand der Mehrzahl von Einzelaufnahmen modelliert wird. Die Modellierung kann beispielsweise erfolgen, indem einzelne natürliche Landmarken, die in den jeweiligen Einzelaufnahmen identifiziert wurden, miteinander in Einklang gebracht werden, um die jeweiligen Einzelaufnahmen miteinander zu kombinieren. Nach der Fertigstellung des 3D-Modells können natürlich optional die Bilddaten der Einzelaufnahmen in dieses integriert werden. Es sollte klar sein, dass die Skalierung der ersten Einzelaufnahme auch auf die anderen Einzelaufnahmen und somit auf das gesamte virtuelle 3D-Modell des Raumes übertragen werden kann.Further become further, partially overlapping single shots of the room (s) using the camera generated measuring system, whereupon a virtual 3D model of space using an image processing method under consideration of the detected distance modeled on the plurality of individual images becomes. For example, the modeling can be done by using individual natural landmarks, which were identified in the individual photographs, with each other be reconciled to each other's individual shots to combine. After completion of the 3D model, of course, optional Image data of the individual images are integrated into this. It should be clear that the scaling of the first single shot too the other single shots and thus the entire virtual 3D model of the room can be.

Basierend auf der Abstandsmessung erfolgt demnach im Gegensatz zum Stand der Technik eine automatische Skalierung, wodurch das Verfahren benutzerfreundlicher gestaltet und der Zeitaufwand zur Durchführung des Verfahrens reduziert wird.Based on the distance measurement is thus carried out in contrast to the prior Technique automatic scaling, making the process more user-friendly designed and reduces the time required to carry out the process becomes.

Bevorzugt werden Abstände zu mehreren Raumpunkten erfasst und einer oder mehreren Einzelaufnahmen zugeordnet. Auf diese Weise kann die Genauigkeit des virtuellen 3D-Modells des Raums wesentlich verbessert werden.Prefers become intervals captured to several points in space and one or more individual shots assigned. In this way, the accuracy of the virtual 3D model of the room can be significantly improved.

Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird jeweils ein Abstand zwischen dem Messsystem und drei verschiedenen Raumpunkten ermittelt, wobei die drei Raumpunkte ein Dreieck aufspannen. Unter der Annahme, dass die drei Raumpunkte auf einer gemeinsamen Fläche des Raumes liegen, kann entsprechend die Form der Fläche berechnet werden. Vorteilhaft wird ferner ein weiterer Abstand zwischen dem Messsystem und einem vierten Raumpunkt ermittelt, wobei sich der vierte Raumpunkt innerhalb des von den drei anderen Raumpunkten aufgespannten Dreiecks befindet. Dies ist zum einen dahingehend vorteilhaft, dass die Erstreckung der Fläche, auf der sich die vier Raumpunkte befinden, noch genauer erfasst werden kann. Zum anderen kann zu Be ginn der Durchführung des erfindungsgemäßen Verfahrens ein Koordinatensystem festgelegt werden, indem die vier Raumpunkte, zu denen die Abstände ermittelt werden, derart ausgerichtet werden, dass der vierte Raumpunkt als Koordinatenursprung auf eine Ecke des Raumes ausgerichtet ist, und dass die anderen drei Raumpunkte jeweils auf eine die Ecke bildende Fläche ausgerichtet sind, beispielsweise auf zwei Wände und den Boden eines Raumes. Die Messung der Abstände zu derart gewählten vier Raumpunkten gestattet die Berechnung eines Koordinatensystems, auf dem basierend das virtuelle 3D-Modell des Raumes modelliert werden kann. Auf diese Weise kann auch das Definieren eines Koordinatensystems benutzerfreundlich und zeitsparend gestaltet werden.According to one preferred embodiment of the method according to the invention is respectively a distance between the measuring system and three different spatial points determined, with the three space points spanning a triangle. Under the assumption that the three points of space on a common surface of the Space, the shape of the surface can be calculated accordingly. Advantageous Furthermore, a further distance between the measuring system and a fourth point of space determined, with the fourth point in space within the from the three other points of space spanned triangle is located. This is on the one hand advantageous in that the extension the area, on which the four space points are located, captured even more precisely can be. On the other hand, at the beginning of the implementation of the inventive method set up a coordinate system by dividing the four space points, to which the distances be determined to be aligned such that the fourth space point is aligned as a coordinate origin on a corner of the room, and that the other three space points each on a corner forming area aligned, for example, on two walls and the floor of a room. The measurement of distances to such chosen four Spatial points allows the calculation of a coordinate system, on based on which the 3D virtual model of the room is modeled can. This can also be used to define a coordinate system user-friendly and time-saving design.

Bevorzugt wird bzw. werden zudem die Position und/oder die Ausrichtung des Messsystems und/oder eine Änderung der Position und/oder Ausrichtung des Messsystems mithilfe wenigstens eines weiteren Sensors erfasst, wie beispielsweise mithilfe eines Neigungssensors und/oder eines kinematischen Sensors. Auf diese Weise kann eine ungefähre Lagebeziehung mehrerer Einzelaufnahmen relativ zueinander bestimmt werden, wodurch der Rechenaufwand verringert werden kann, der zum Kombinieren von Einzelaufnahmen erforderlich ist. Ist beispielsweise die ungefähre Änderung der Position und Ausrichtung des Messsystems zwischen zwei Einzelaufnahmen bekannt, so kann der Parameterraum für das Matchen der Landmarken entsprechend minimiert werden. Hieraus resultieren ein erheblich verringerter Rechenaufwand sowie eine Verkürzung der Berechnungsdauer.Prefers In addition, the position and / or the orientation of the Measuring system and / or a change the position and / or orientation of the measuring system using at least detected by another sensor, such as using a Tilt sensor and / or a kinematic sensor. To this Way can approximate Positional relationship of several individual images determined relative to each other which reduces the amount of computation required for Combining single shots is required. For example the approximate change the position and orientation of the measuring system between two individual shots known, so the parameter space for matching the landmarks be minimized accordingly. This results in a considerable reduced computational effort and a shortening of the calculation time.

Gemäß einer bevorzugten Variante des erfindungsgemäßen Verfahrens wird das modellierte virtuelle 3D-Modell des Raumes durch zumindest eine weitere Einzelaufnahme und/oder Videoaufnahme und/oder Abstandsmessung ergänzt. Eine derartige Ergänzung kann beispielsweise erforderlich sein, wenn bestimmte Strukturelemente, wie zum Beispiel Vorsprünge oder Aussparungen einer Raumwand, anhand der erstellten Einzelaufnahmen nicht genau erfasst und berechnet werden konnten.According to one preferred variant of the method according to the invention is the modeled virtual 3D model of the room through at least one more single shot and / or video recording and / or distance measurement supplements. A such supplement may be necessary, for example, if certain structural elements, such as protrusions or recesses of a room wall, based on the individual shots taken could not be accurately recorded and calculated.

Hierzu werden mit Hilfe des Messsystems weitere Messdaten des zu ergänzenden Raumbereiches erfasst und die Ist-Position und die Ist-Ausrichtung des Messsystems innerhalb des virtuellen 3D-Modells zum Zeitpunkt der Erfassung der weiteren Messdaten bestimmt. Diese Bestimmung kann beispielsweise erfolgen, indem zum Zeitpunkt der Erfassung der weiteren Messdaten eine Teilaufnahme generiert wird, deren Landmarken mit denjenigen des virtuellen 3D-Modells verglichen und in Übereinstimmung gebracht werden. Anschließend können die neu erfassten Messwerte an entsprechender Position innerhalb des virtuellen 3D-Modells ergänzt werden. Auf diese Weise ist ein Ergänzen und Verfeinern des virtuellen 3D-Modells möglich.For this With the help of the measuring system, further measured data of the supplementary Spaces area and the actual position and the actual orientation of the measurement system within the virtual 3D model at the time of acquisition the further measured data determined. This provision may, for example done by adding the other measurement data at the time of acquisition a partial recording is generated whose landmarks coincide with those of the virtual 3D model compared and matched. Subsequently can they newly acquired measured values at the corresponding position within the be supplemented virtual 3D model. In this way is a supplement and refine the virtual 3D model possible.

Bevorzugt wird eine Soll-Position und/oder Soll-Ausrichtung des Messsystems zum Erfassen der zumindest einen zu ergänzenden Einzelaufnahme und/oder Videoaufnahme und/oder Abstandsmessung automatisch ermittelt und vorgegeben, wenn im Rahmen des Modellierens des virtuellen 3D-Modells festgestellt wird, dass zusätzliche Messdaten erforderlich sind. Die ermittelte Soll-Position und/oder Soll-Ausrichtung des Messsystems wird dem Benutzer dann vorteilhaft über ein Display angezeigt, beispielsweise in Form einer generierten virtuellen Teilaufnahme, so dass der Benutzer das Messsystem problemlos in der gewünschten Soll-Position und Soll-Ausrichtung anordnen kann. Besonders vorteilhaft wird der Benutzer zu der ermittelten Soll-Position und/oder Soll-Ausrichtung des Messsystems navigiert. Eine derartige Navigation kann beispielsweise im Rahmen eines Vergleiches der Ist- und Soll-Position bzw. Ausrichtung der Messsystems erfolgen, wobei der Benutzer z. B. über auf dem Display dargestellte Pfeile von der Ist-Position zur Soll-Position navigiert wird. Die Ist-Position bzw. Ist-Ausrichtung des Messsystems kann dabei beispielsweise anhand des aktuellen Sucherbildes der Kamera erfasst werden, indem Landmarken des aktuellen Sucherbildes mit denjenigen des virtuellen 3D-Modells verglichen werden, bis eine Übereinstimmung festgestellt wird. Eine Fein-Navigation kann dann beispielsweise mithilfe einer virtuellen, teiltransparenten Einzelabbildung auf dem Display erfolgen, die mit dem aktuellen Kamerabild in Deckung gebracht werden muss, was nachfolgend unter Bezugnahme auf ein bevorzugtes Ausführungsbeispiel noch näher erläutert wird.Preferably, a desired position and / or desired orientation of the measuring system for detecting the at least one individual recording and / or video recording and / or distance measurement to be supplemented is automatically determined and predetermined, when determining when modeling the 3D virtual model that additional measurement data is required. The determined desired position and / or desired orientation of the measuring system is then advantageously displayed to the user via a display, for example in the form of a generated virtual partial recording, so that the user can easily arrange the measuring system in the desired nominal position and desired orientation , Particularly advantageously, the user is navigated to the determined desired position and / or desired orientation of the measuring system. Such navigation can be done, for example, in the context of a comparison of the actual and desired position or orientation of the measuring system, wherein the user z. B. is navigated via arrows shown on the display of the actual position to the desired position. The actual position or actual orientation of the measuring system can be detected, for example, on the basis of the current viewfinder image of the camera by comparing landmarks of the current viewfinder image with those of the virtual 3D model until a match is found. A fine navigation can then take place for example by means of a virtual, semi-transparent individual image on the display, which must be brought into coincidence with the current camera image, which will be explained in more detail below with reference to a preferred embodiment.

Gemäß einer weiteren bevorzugten Variante des erfindungsgemäßen Verfahrens werden den Einzelaufnahmen und/oder dem virtuellen 3D-Modell weiteren Messdaten zugeordnet, die unter Verwendung zumindest eines weiteren Sensors erfasst werden.According to one Another preferred variant of the method according to the invention are the individual images and / or the virtual 3D model further Assigned measurement data using at least one other Sensors are detected.

Bei diesen zusätzlichen Messdaten kann es sich beispielsweise um Thermografiedaten und/oder um solche Daten handeln, die mithilfe eines digitalen Röntgensensors und/oder eines Radarsensors und/oder eines UWB-Sensors und/oder eines THz-Sensors und/oder eines Wallscanners oder dergleichen aufgenommen werden. Die Zuordnung solcher weiteren Messdaten zu den Einzelaufnahmen oder zu dem virtuellen 3D-Modell ermöglicht beispielsweise die Darstellung des Feuchtigkeitszustands von Raumbereichen, von elektrischen Leitungen, die in Wänden des Raumes verlegt sind, von unterschiedlichen Materialien, die in Raumwänden verarbeitet sind, etc., wobei die Messdaten der zusätzlichen Sensoren direkt eine räumliche Zuordnung erhalten.at this extra Measurement data can be, for example, thermographic data and / or such data act by using a digital x-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a wall scanner or the like become. The assignment of such further measurement data to the individual images or allows for the virtual 3D model for example, the representation of the moisture state of spatial regions, of electrical cables laid in walls of the room, of different materials, which are processed in room walls, etc., where the measurement data of the additional Sensors directly a spatial Assignment received.

Die grafische Darstellung von Messergebnissen erfolgt vorteilhaft durch eine Überlagerung von halbtransparenten Abbildungen von Messergebnissen. So kann beispielsweise ein Wärmebild, das mithilfe einer Wärmebildkamera aufgenommen wurde, dem Kamerabild einer Einzelaufnahme überlagert werden.The Graphical representation of measurement results is advantageously carried out by an overlay of semitransparent images of measurement results. So, for example a thermal image, that with the help of a thermal imager was added to the camera image of a single shot superimposed.

Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens können Strukturelemente automatisch identifiziert und/oder klassifiziert werden. So können Identifizierungen und Klassifizierungen beispielsweise basierend auf einer Bibliothekdatenbank vorgenommen werden, in der eine Vielzahl von Strukturelementen mit ihren Merkmalen hinterlegt ist. Anhand einer Punktwolke von Landmarken, anhand von Bilddaten der Einzelaufnahmen oder in sonstiger Weise erfasste Strukturelemente können mit den in der Bibliotheksdatenbank hinterlegten Merkmalen verglichen und identifiziert bzw. klassifiziert werden. Auch können Abstandsmessdaten die Identifikation oder Klassifikation von Strukturelementen unterstützen. Wird beispielsweise zum Durchführen der Abstandsmessungen ein Laserabstandsmesser verwendet, so wird dieser beim Vermessen von Wanddurchbrüchen oder Fenstern für gewöhnlich keine oder stark von sonstigen Messungen abweichende Messergebnisse erzielen. Entsprechend können Wanddurchbrüche oder Fenster anhand der fehlenden oder stark abweichenden Messergebnisse des Abstandsmessers von Bildern oder dergleichen unterschieden werden.According to one advantageous embodiment of the method according to the invention may structural elements automatically identified and / or classified. So can identifications and classifications, for example, based on a library database be made in which a variety of structural elements with their characteristics is deposited. Based on a point cloud of landmarks, based on image data of the individual images or in any other way Captured structural elements can compared with the features stored in the library database and be identified or classified. Also, distance measurement data support the identification or classification of structural elements. Becomes for example, to perform the distance measurements using a laser distance meter is so this when measuring wall openings or windows usually no or strongly deviate from other measurements. Correspondingly Wall cuttings or window based on the missing or strongly deviating measurement results of the distance meter are distinguished from images or the like.

Zudem werden Abmessungen von Strukturelementen, insbesondere von Türen, Fenstern, Schränken oder dergleichen, vorteilhaft automatisch in dem virtuellen 3D-Modell und/oder in den Einzelansichten angezeigt. Ferner ist es möglich, virtuelle Objekte, wie beispielsweise Möbel oder dergleichen, in das virtuelle 3D-Modell zu integrieren.moreover be dimensions of structural elements, in particular of doors, windows, cabinets or the like, advantageously automatically in the virtual 3D model and / or displayed in the individual views. It is also possible to create virtual objects such as furniture or the like to integrate into the 3D virtual model.

Ferner können bei dem erfindungsgemäßen Verfahren bevorzugt virtuelle Strukturelemente in ein aktuelles Videobild eingeblendet werden. So können beispielsweise virtuelle Möbel in das Display des Messsystems, das eine aktuelle Videoaufnahme eines Raumes wiedergibt, eingeblendet werden.Further can in the method according to the invention prefers virtual structure elements in a current video image to be displayed. So, for example virtual furniture in the display of the measuring system, which is a recent video recording of a room.

Die vorliegende Erfindung schafft ferner ein Messsystem zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes, das insbesondere zur Durchführung des zuvor beschriebenen Verfahrens geeignet ist. Das Messsystem umfasst eine Kamera, die derart ausgebildet ist, dass sie Einzelaufnahmen eines Raums erstellen kann, wenigstens eine Einrichtung zum Erfassen von Abständen zwischen dem Messsystem und Raumpunkten im Raum und eine Auswerteeinheit, die derart eingerichtet ist, dass sie zumindest einer Einzelaufnahme einen erfassten Abstand zuordnen und ein virtuelles 3D-Modell des Raums basierend auf Einzelaufnahmen und zumindest einer Abstandsmessung modellieren kann.The The present invention further provides a measurement system for image-based Measuring a room or a part of a room, in particular to carry out of the method described above is suitable. The measuring system includes a camera that is configured to take individual pictures of a room, at least one means of detecting of distances between the measuring system and spatial points in the room and an evaluation unit, which is set up so that it at least one single recording one Assign captured distance and a virtual 3D model of space based on single images and at least one distance measurement can model.

Bei der Kamera handelt es sich bevorzugt um eine Videokamera, mit der sowohl Einzel- als auch Videoaufnahmen erstellt werden können.The camera is preferably a video camera, with both single and Also video recordings can be created.

Zudem weist das Messsystem vorteilhaft wenigstens einen weiteren Sensor auf, beispielsweise eine Wärmebildkamera und/oder einen digitalen Röntgensensor und/oder einen Radarsensor und/oder einen UWB-Sensor und/oder einen THz-Sensor und/oder einen Wallscanner oder dergleichen. Dabei sind die Kamera und der zumindest eine weitere Sensor vorteilhaft relativ zueinander kalibriert. Umfasst das Messsystem beispielsweise eine Wärmebildkamera, so sollte diese relativ zu der Kamera derart kalibriert sein, dass die Wärmebildkamera und die Kamera den gleichen Raumbereich erfassen.moreover the measuring system advantageously has at least one further sensor on, for example, a thermal imaging camera and / or a digital X-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a wall scanner or the like. Here are the camera and the at least one further sensor advantageously relative to each other calibrated. For example, if the measuring system includes a thermal imager, so this should be calibrated relative to the camera such that the thermal imager and the camera capture the same space area.

Ferner weist die Einrichtung zum Erfassen von Abständen zwischen dem Messsystem und Raumpunkten eines Raumes bevorzugt zumindest einen, besser noch mehrere Entfernungsmesser auf, wobei es sich bei dem Entfernungsmesser vorteilhaft um einen Laserentfernungsmesser handelt.Further has the means for detecting distances between the measuring system and spatial points of a room preferably at least one, better yet several range finders, where it is the rangefinder advantageous to a laser range finder is.

Zudem umfasst das Messsystem bevorzugt einen Neigungssensor und/oder einen kinematischen Sensor, so dass die aktuelle Position und/oder Ausrichtung und/oder eine Änderung der Position und/oder Ausrichtung des Messsystems erfasst werden kann/können.moreover the measuring system preferably comprises a tilt sensor and / or a kinematic sensor, so that the current position and / or orientation and / or a change the position and / or orientation of the measuring system are detected can / can.

Ferner weist das Messsystem vorteilhaft ein Display als Ausgabeeinheit auf, über das beispielsweise das aktuelle Bild der Kamera oder dergleichen ausgegeben werden kann.Further the measuring system advantageously has a display as output unit up, over for example, the current image of the camera or the like output can be.

Vorteilhaft ist das Messsystem ferner derart ausgebildet, dass es handgeführt ist. Dies ermöglicht einen sehr flexiblen Einsatz des Messsystems.Advantageous the measuring system is further designed such that it is manually guided. This allows one very flexible use of the measuring system.

Schließlich ist die Auswerteeinheit vorteilhaft derart ausgebildet, dass sie die Durchführung des erfindungsgemäßen Verfahrens gestattet.Finally is the evaluation unit advantageously designed such that they execution the method according to the invention allowed.

Ausführungsbeispieleembodiments

Nachfolgend werden beispielhafte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen genauer beschrieben. Darin istfollowing become exemplary embodiments of the present invention with reference to the attached Drawings described in more detail. That's it

1 eine perspektivische Ansicht einer ersten Ausführungsform eines Messsystems gemäß der vorliegenden Erfindung; 1 a perspective view of a first embodiment of a measuring system according to the present invention;

2 eine schematische Darstellung eines Raumes zur Erläuterung eines erfindungsgemäßen Verfahrens, das mit dem in 1 dargestellten Messsystem durchgeführt werden kann; 2 a schematic representation of a space for explaining a method according to the invention, with the in 1 shown measuring system can be performed;

3 eine vergrößerte Ansicht einer unteren Ecke des in 2 dargestellten Raumes; 3 an enlarged view of a lower corner of the in 2 represented space;

4 eine schematische Draufsicht eines Raumes zur Erläuterung des erfindungsgemäßen Verfahrens; 4 a schematic plan view of a room for explaining the method according to the invention;

5 eine schematische Ansicht einer Displayanzeige des in 1 dargestellten Messsystems; 5 a schematic view of a display of the in 1 illustrated measuring system;

6 eine weitere schematische Ansicht einer Displayanzeige des in 1 dargestellten Messsystems; 6 another schematic view of a display of the in 1 illustrated measuring system;

7 eine perspektivische Ansicht einer zweiten Ausführungsform eines Messsystems gemäß der vorliegenden Erfindung; 7 a perspective view of a second embodiment of a measuring system according to the present invention;

8 eine schematische Draufsicht eines Raumes zur Erläuterung eines erfindungsgemäßen Verfahrens, das mit einem erfindungsgemäßen Messsystem gemäß einer dritten Ausführungsform durchgeführt werden kann; 8th a schematic plan view of a space for explaining a method according to the invention, which can be carried out with a measuring system according to the invention according to a third embodiment;

9 eine schematische Ansicht eines Ausschnitts eines virtuellen 3D-Modells, das basierend auf Messwerten erstellt wurde, die mit dem in 8 dargestellten Messsystem erfasst wurden; und 9 a schematic view of a section of a virtual 3D model, which was created based on measurements with the in 8th measuring system were detected; and

10 eine schematische Ansicht eines Raumes, die zur Erläuterung eines bekannten Verfahrens zur bildbasierten Vermessung eines Raumes dient. 10 a schematic view of a room, which serves to illustrate a known method for image-based measurement of a room.

Gleiche Bezugsziffern beziehen sich nachfolgend auf gleiche oder gleichartige Elemente.Same Reference numerals refer to the same or similar below Elements.

10 zeigt eine schematische Ansicht eines Raumes 100, die zur Erläuterung eines bekannten Verfahrens zur bildbasierten Vermessung eines Raumes dient. Der Raum 100 umfasst zwei Wände 102 und 104, einen Boden 106 und eine Decke 108, wobei an den Wänden 102 und 104 Fenster 110, 112 und 114, eine Tür 116 und ein Heizkörper 118 angeordnet sind. 10 shows a schematic view of a room 100 , which serves to explain a known method for image-based measurement of a room. The space 100 includes two walls 102 and 104 , a floor 106 and a blanket 108 , being on the walls 102 and 104 window 110 . 112 and 114 , a door 116 and a radiator 118 are arranged.

Zur virtuellen Darstellung eines solchen Raumes 100 ist ein Verfahren bekannt, bei dem eine virtuelle zusammenhängende Gesamtaufnahme des Raumes 100 basierend auf mit einer Kamera erstell ten, einander teilweise überlappenden Einzelaufnahmen 120, 122 und 124 von Teilbereichen des Raumes 100 modelliert wird, indem die Einzelaufnahmen 120, 122 und 124 miteinander kombiniert werden. Zur Kombination der Einzelaufnahmen 120, 122 und 124 wird zunächst manuell ein Koordinatensystem 126 festgelegt. Anschließend werden automatisch lokale markante Merkmalspunkte in jeder Einzelaufnahme 120, 122 und 124 definiert, die unempfindlich gegenüber perspektivische Verzerrungen sind und nachfolgend als Landmarken bezeichnet werden. Markant sind Raumpunkte, deren Eigenschaften von ihrem Hintergrund abweichen, wie vorliegend beispielsweise die Rahmen der Fenster 110, 112 und 114 sowie der Tür 116 und die Geometrie des Heizkörpers 118, wobei natürlich auch weniger hervorstechende Merkmalspunkte als Landmarken dienen können. Anschließend wird in den Einzelaufnahmen 120, 122 und 124 nach identischen Landmarken gesucht, um die Überlappungsbereiche der Einzelaufnahmen 120, 122 und 124 zu identifizieren. Anhand der miteinander übereinstimmenden Landmarken können die Einzelaufnahmen 120, 122 und 124 dann zueinander ausgerichtet und zu einer zusammenhängenden virtuellen Gesamtaufnahme des Raumes 100 zusammengefügt werden. Um Abmessungen einzelner Strukturelemente zu erhalten, wie beispielsweise die Abmessungen der Fenster 110, 112 und 114, der Tür 116, des Heizkörpers 118 oder die Dimensionen des Raumes 100, muss die virtuelle Gesamtaufnahme in einem weiteren Schritt skaliert werden. Hierzu muss lediglich eine tatsächliche Abmessung ausgemessen werden, wie beispielsweise die Höhe h des Fensters 110. Anhand dieser einen Abmessung können dann grundsätzlich alle anderen Abmessungen mithilfe eines Rechenalgorithmus berechnet werden.To the virtual representation of such a space 100 is a method known in which a virtual coherent total recording of space 100 Based on single camera shots created with one camera 120 . 122 and 124 of partial areas of the room 100 is modeled by the single shots 120 . 122 and 124 be combined with each other. To combine the individual shots 120 . 122 and 124 is first manually a coordinate system 126 established. Subsequently, local distinctive feature points in each individual image automatically become 120 . 122 and 124 defined, which are insensitive to perspective distortions and hereinafter referred to as landmarks. Markant are points in the room whose characteristics deviate from their background, as in the present example the frames of the windows 110 . 112 and 114 as well as the door 116 and the geometry of the radiator 118 , of course, less salient feature points can serve as landmarks. Subsequently, in the individual shots 120 . 122 and 124 looking for identical landmarks to the overlapping areas of the individual shots 120 . 122 and 124 to identify. Based on the coincident landmarks, the individual shots 120 . 122 and 124 then aligned with each other and into a coherent total virtual recording of the space 100 be joined together. To obtain dimensions of individual structural elements, such as the dimensions of the windows 110 . 112 and 114 , the door 116 , the radiator 118 or the dimensions of the room 100 , the total virtual recording must be scaled in one more step. For this purpose, only an actual dimension must be measured, such as the height h of the window 110 , On the basis of this one dimension, all other dimensions can then be calculated using a calculation algorithm.

Wie es eingangs bereits beschrieben wurde, besteht ein Nachteil dieses Verfahrens darin, dass sowohl das Festlegen eines Koordinatensystems 126 als auch die Skalierung mit zusätzlichen manuellen Schritten verbunden sind. Ferner ist das Verfahren nicht dazu ausgelegt, dass weitere Einzelaufnahmen problemlos nachträglich in die Gesamtaufnahme integriert werden können. Werden also Ab schattungen, wie beispielsweise Vorsprünge oder Aussparungen von Raumwänden nicht sorgfältig anhand der Einzelaufnahmen 120, 122, 124 dokumentiert, so ist die modellierte Gesamtaufnahme lückenhaft und nur schwer zu ergänzen. Schließlich ist es ohne großen Aufwand nicht möglich, Messergebnisse von anderen Messgeräten in die Gesamtaufnahme zu integrieren, wie beispielsweise einen mit einem Feuchtigkeitssensor erfassten Feuchtigkeitsgrad von Wänden, die Lage von elektrischen Leitungen oder dergleichen.As has already been described, a disadvantage of this method is that both the definition of a coordinate system 126 as well as the scaling associated with additional manual steps. Furthermore, the method is not designed so that further individual recordings can easily be subsequently integrated into the overall recording. So shadings, such as projections or recesses of room walls are not carefully based on the individual shots 120 . 122 . 124 documented, the modeled overall recording is incomplete and difficult to complete. Finally, it is not easily possible to integrate measurement results from other meters in the overall recording, such as a detected with a moisture sensor moisture level of walls, the location of electrical wiring or the like.

1 zeigt eine perspektivische Darstellung einer ersten Ausführungsform eines Messsystems 10 gemäß der vorliegenden Erfindung. Das Messsystem 10 umfasst ein Messgerät 12 mit einem Gehäuse 14, in dem eine Videokamera 16, vier Laserabstandsmesser 18a, 18b, 18c und 18d und ein kinematischer Sensor 20 aufgenommen sind. An dem Gehäuse 14 ist ferner ein Display 22 schwenkbar gehalten, auf dem beispielsweise das aktuelle Kamerabild ausgegeben wird. Ferner umfasst das Messgerät 12 eine drahtlose Schnittstelle 24, mit deren Hilfe das Messgerät 12 mit einem Laptop 26 datentechnisch kommunizieren kann. Der Laptop 26 beinhaltet eine Auswerteeinheit mit einem Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens. Alternativ kann die Auswerteeinheit natürlich auch in das Messgerät 12 integriert werden. 1 shows a perspective view of a first embodiment of a measuring system 10 according to the present invention. The measuring system 10 includes a meter 12 with a housing 14 in which a video camera 16 , four laser distance meters 18a . 18b . 18c and 18d and a kinematic sensor 20 are included. On the case 14 is also a display 22 pivoted, on the example, the current camera image is output. Furthermore, the meter includes 12 a wireless interface 24 , with whose help the meter 12 with a laptop 26 can communicate in terms of data. The laptop 26 includes an evaluation unit with a computer program for carrying out the method according to the invention. Alternatively, of course, the evaluation unit in the meter 12 to get integrated.

Die Videokamera 16 dient dazu, Einzelaufnahmen und/oder Videoaufnahmen eines Raumes zu erstellen. Die Laserabstandsmesser 18a, 18b, 18c und 18d erfassen Abstände zu Raumpunkten des zu vermessenden Raumes. Der kinematische Sensor 20 ist dazu ausgebildet, bei einer Änderung der Position des Messgerätes 12 eine Beschleunigung, Drehrate sowie die Ausrichtung des Messgeräts 12 zu bestimmen. Zum Halten des Messgerätes 12 umfasst dieses ferner einen Griff 28, mit dem das Messgerät 12 bequem gehandhabt werden kann.The video camera 16 serves to create single shots and / or video recordings of a room. The laser distance meter 18a . 18b . 18c and 18d capture distances to spatial points of the room to be measured. The kinematic sensor 20 is designed to change the position of the meter 12 an acceleration, rate of rotation and the orientation of the meter 12 to determine. To hold the meter 12 this also includes a handle 28 with which the meter 12 can be handled comfortably.

Das Messsystem 10 dient zur Durchführung eines Verfahrens zur bildbasierten Vermessung von Räumen oder Teilbereichen von Räumen gemäß der vorliegenden Erfindung, wie es nachfolgend anhand den 2 bis 6 näher erläutert wird.The measuring system 10 is used to carry out a method for image-based measurement of rooms or partial areas of rooms according to the present invention, as described below with reference to 2 to 6 is explained in more detail.

2 zeigt eine schematische Ansicht eines Raumes 100, der, ähnlich wie es in 10 dargestellt ist, Wände 102 und 104, einen Boden 106, eine Decke 108, Fenster 110, 112 und 114, eine Tür 116 sowie einen Heizkörper 118 aufweist. 2 shows a schematic view of a room 100 who, much like it in 10 is shown, walls 102 and 104 , a floor 106 , A blanket 108 , Window 110 . 112 and 114 , a door 116 as well as a radiator 118 having.

Zum Vermessen des Raumes 100 wird, wie es in 3 dargestellt wird, die eine vergrößerte Ansicht der in 2 dargestellten Raumecke 128 zeigt, in einem ersten Schritt ein Koordinatensystems zur Durchführung des erfindungsgemäßen Verfahrens festgelegt. Die Festlegung des Koordinatensystems erfolgt mithilfe der Laserabstandsmesser 18a, 18b, 18c und 18d. Diese Laserabstandsmesser 18a, 18b, 18c und 18d sind derart zueinander ausgerichtet, dass die von den Laserabstandsmessern 18a, 18b und 18c ausgesendeten Laserstrahlen in einem Dreieck angeordnete Laserpunkte 19a, 19b und 19c definieren, wenn diese auf ein Objekt fallen, wie beispielsweise auf eine Raumwand oder dergleichen. Der Laserabstandsmesser 18d ist in Bezug auf die Laserabstandsmesser 18a, 18b und 18c derart ausgerichtet, dass sein Laserpunkt 19d etwa in die Mitte des von den Laserpunkten 19a, 19b und 19c definierten Dreiecks fällt. Zum Festlegen eines Koordinatensystems werden die Laserpunkte 19a, 19b, 19c und 19d derart ausgerichtet, dass der Laserpunkt 19d des Laserabstandsmessers 18d als Koordinatenursprung genau in die Raumecke 128 fällt, während die von den Laserabstandsmesser 18a, 18b und 18c ausgesandten Laserstrahlen Laserpunkte 19a, 19b und 19c auf der Wand 102, der Wand 104 und dem Boden 106 abbilden, wie es in 3 dargestellt ist. Die Abstandsmesswerte, die mit derart ausgerichteten Laserabstandsmessern 18a, 18b, 18c und 18d erzielt werden, ermöglichen die Berechnung und Skalierung eines Koordinatensystems 30, auf dem basierend das erfindungsgemäße Verfahren durchgeführt werden kann.To measure the room 100 will, as it is in 3 which is an enlarged view of the in 2 shown room corner 128 shows, set in a first step, a coordinate system for carrying out the method according to the invention. The definition of the coordinate system is done using the laser distance meter 18a . 18b . 18c and 18d , This laser distance meter 18a . 18b . 18c and 18d are aligned with each other so that the of the laser distance meters 18a . 18b and 18c emitted laser beams arranged in a triangle laser points 19a . 19b and 19c define when they fall on an object, such as a room wall or the like. The laser distance meter 18d is in terms of the laser distance meter 18a . 18b and 18c aligned so that its laser point 19d about in the middle of the laser points 19a . 19b and 19c defined triangle falls. To set a coordinate system, the laser points 19a . 19b . 19c and 19d aligned so that the laser spot 19d of the laser distance meter 18d as coordinate origin exactly in the corner of the room 128 falls while that of the laser distance meter 18a . 18b and 18c emitted laser beams laser points 19a . 19b and 19c on the wall 102 , the Wall 104 and the floor 106 depict how it is in 3 is shown. The distance measurements obtained with such aligned laser distance meters 18a . 18b . 18c and 18d be achieved, allow the calculation and Scaling of a coordinate system 30 on the basis of which the method according to the invention can be carried out.

In einem darauf folgenden Schritt wird, wie es in 2 dargestellt ist, nunmehr eine Einzelaufnahme 32 eines Bereiches des Raumes 100 mithilfe der Videokamera 16 erstellt, wobei die Laserabstandsmesser 18a, 18b, 18c und 18d Entfernungen zur Wand 102 messen. Anhand der gemessenen Abstände zur Wand 102 können nunmehr die metrischen 3D-Koordinaten der Raumpunkte bestimmt und innerhalb der Einzelaufnahme 32 auf der Wand 102 berechnet werden.In a subsequent step, as it is in 2 is shown, now a single shot 32 an area of the room 100 using the video camera 16 created using the laser distance meter 18a . 18b . 18c and 18d Distances to the wall 102 measure up. Based on the measured distances to the wall 102 Now, the metric 3D coordinates of the space points can be determined and within the single shot 32 on the wall 102 be calculated.

Anschließend werden weitere, einander überlappende Einzelaufnahmen des Raumes 100 erstellt, indem der Benutzer den Raum 100 mit dem Messgerät 12 beispielsweise kreisförmig abschreitet.Subsequently, further, overlapping individual shots of the room 100 Created by the user the room 100 with the meter 12 for example, circularly steps.

Anschließend werden automatisch lokale Landmarken in jeder Einzelaufnahme definiert, woraufhin in den Einzelaufnahmen nach identischen Landmarken gesucht wird, um die Überlappungsbereiche der Einzelaufnahmen erfassen und um die Einzelaufnahmen zueinander ausrichten und zusammenfügen zu können, wie es zuvor unter Bezugnahme auf 10 bereits beschrieben wurde. Auf diese Weise wird ein virtuelles 3D-Modell des Raumes 100 erzielt, wobei sämtliche Einzelabmessungen von Strukturelementen des Raumes 100 anhand der vorab erfolgten Skalierung berechnet werden können.Subsequently, local landmarks are automatically defined in each individual shot, whereupon searched in the individual shots for identical landmarks to capture the overlapping areas of the individual shots and to align the individual shots and join together, as previously with reference to 10 already described. In this way, a virtual 3D model of the room 100 achieved, with all individual dimensions of structural elements of the room 100 can be calculated on the basis of the previous scaling.

Im Gegensatz zu dem unter Bezugnahme auf 10 beschriebenen bekannten Verfahren erfolgen gemäß dem soeben beschriebenen erfindungsgemäßen Verfahren sowohl die Festlegung des Koordinatensystems 30 als auch die Skalierung automatisch, wodurch die Handhabung des Messsystems 10 und die Durchführung des erfindungsgemäßen Verfahrens wesentlich vereinfacht werden.In contrast to that with reference to 10 The known methods described above, according to the inventive method just described, both the determination of the coordinate system 30 as well as the scaling automatically, reducing the handling of the measuring system 10 and the implementation of the method according to the invention are substantially simplified.

Wechselt der Benutzer seinen Standort von einer Position, von der aus er eine erste Einzelaufnahme eines Bereiches des Raumes 100 aufgenommen hat, zu einem zweiten Standort, von dem aus er eine weitere Einzelaufnahme eines Bereiches des Raumes 100 erstellen will, so registriert der kinematische Sensor 20, der in das Mess gerät 12 integriert ist, die Veränderung der Position und der Ausrichtung des Messgeräts 12 beim Wechsel von einem Standort zum nächsten. Anhand der von dem kinematischen Sensor 20 erfassten Messdaten kann der neue Standort des Messgerätes 12 zumindest annäherungsweise bestimmt werden, so dass eine ungefähre Lagebeziehung der beiden Einzelaufnahmen relativ zueinander berechnet werden kann. Mithilfe dieser berechneten Lagebeziehung kann der Parameterraum, in dem nach übereinstimmenden Landmarken der Einzelaufnahmen gesucht wird, erheblich eingeschränkt werden, wodurch der Rechenaufwand sowie die Zeitdauer für die Kombination der Einzelaufnahmen erheblich verringert werden kann.The user changes his position from a position from which he takes a first single shot of an area of the room 100 has taken to a second location, from which he takes another single shot of an area of the room 100 wants to create, so registered the kinematic sensor 20 that gets into the meter 12 integrated, changing the position and orientation of the meter 12 when changing from one location to the next. On the basis of the kinematic sensor 20 recorded measurement data can be the new location of the meter 12 be determined at least approximately, so that an approximate positional relationship of the two individual images relative to each other can be calculated. Using this calculated positional relationship, the parameter space, which searches for matching landmarks of the individual images, can be significantly restricted, which can considerably reduce the computational effort and the time required for combining the individual images.

4 ist eine schematische Ansicht eines Raumes 40, der mithilfe des in 1 dargestellten Messsystems 10 vermessen werden soll. Hierzu wird zunächst in der zuvor beschriebenen Weise ein Koordinatensystem 30 definiert, auf dem basierend das erfindungsgemäße Verfahren durchgeführt werden soll. Anschließend werden Einzelaufnahmen des Raumes 40 erstellt, indem der Benutzer beispielsweise den in 4 gestrichelt dargestellten Weg 41 abschreitet, woraufhin aus den kombinierten Einzelaufnahmen und den Abstandsmessungen ein virtuelles 3D-Modell des Raumes 40 erstellt wird. Bei der Berechnung des virtuellen 3D-Modells wird nun festgestellt, dass der Raumabschnitt 42 messtechnisch nicht vollständig von dem Messgerät 12 erfasst werden konnte, da die Raumecke 44 ausgehend von dem in 4 dargestellten Standort des Messsystems 10 einen Teil des Raumabschnitts 42 optisch verdeckt hat. Entsprechend wurde eine Einzelaufnahme 46 mit einer Abschattung 48 aufgenommen, die keine vollständige Vermessung des Raumabschnittes 42 zulässt. Zur Vervollständigung des virtuellen 3D-Modells wird nunmehr automatisch ein neuer Standort 50 berechnet, von dem ausgehend der Raumabschnitt 42 vollständig von dem Messgerät 12 erfasst werden kann. Zu diesem neuen Standort 50, der durch eine Soll-Position und Soll-Ausrichtung des Messsystems 10 definiert ist, wird der Benutzer über das Display 22 des Mess gerätes 12 navigiert, was nachfolgend unter Bezugnahme auf die 5 und 6 genauer erläutert wird. 4 is a schematic view of a room 40 who use the in 1 illustrated measuring system 10 to be measured. For this purpose, first in the manner described above, a coordinate system 30 defines based on which the inventive method is to be performed. Subsequently, individual shots of the room 40 created by the user, for example, the in 4 dashed way shown 41 then, from the combined single images and the distance measurements, a virtual 3D model of the space 40 is created. When calculating the virtual 3D model, it is now determined that the space section 42 metrologically not completely from the meter 12 could be detected, since the room corner 44 starting from the in 4 shown location of the measuring system 10 a part of the room section 42 optically obscured. Accordingly, a single shot 46 with a shading 48 not included a complete survey of the room section 42 allows. Completing the virtual 3D model will now automatically become a new location 50 calculated, starting from the space section 42 completely from the meter 12 can be detected. To this new location 50 caused by a nominal position and target orientation of the measuring system 10 is defined, the user is on the display 22 of the measuring device 12 navigated, which is explained below with reference to the 5 and 6 will be explained in more detail.

Zunächst wird anhand des virtuellen 3D-Modells eine virtuelle Soll-Einzelansicht erzeugt, die ausgehend von der Soll-Position und der Soll-Ausrichtung des Messgeräts 12 von der Videokamera 16 des Messgeräts 12 erfasst wird. Anschließend wird die aktuelle Ist-Position und Ist-Ausrichtung des Messgeräts 12 erfasst, indem Landmarken in dem aktuellen Videobild 49 der Videokamera 16 bestimmt werden, das auf dem Display 22 angezeigt wird, woraufhin diese Landmarken mit denjenigen des virtuellen 3D-Modells verglichen werden. Anhand übereinstimmender Landmarken kann dann die aktuelle Ist-Position und Ist-Ausrichtung des Messgeräts 12 bestimmt werden. Um den Benutzer ausgehend von der aktuellen Ist-Position und Ist-Ausrichtung des Messgeräts 12 zu dem Standort 50 zu navigieren, werden auf dem Display 22 nun entsprechende Pfeile 52 in das aktuelle Videobild 49 der Videokamera 16 eingeblendet, wie es in 5 beispielhaft dargestellt ist. Sobald die Ist-Position und Ist-Ausrichtung und die Soll-Position und Soll-Ausrichtung des Messgeräts 12 nah genug beieinander liegen, wird der Navigationsmodus dahingehend geändert, dass nunmehr die virtuelle Soll-Einzelansicht, die basierend auf dem virtuellen 3D-Modell in Bezug auf den Standort 50 berechnet wurde, als (gestrichelt dargestellte) teiltransparente Abbildung 53 auf dem Display 22 des Messgeräts 12 eingeblendet wird, wie es in 6 gezeigt ist. Nunmehr kann der Benutzer das aktuelle Videobild 49, das auf dem Display 22 angezeigt wird, mit der teiltransparenten Abbildung 53 der virtuellen Soll-Einzelansicht in Deckung bringen, woraufhin das Messgerät 12 den Standort 50 erreicht hat und die erforderlichen ergänzenden Messungen durchführt werden können. Die neuen Messwerte können dann wiederum in das virtuelle 3D-Modell integriert werden.First, a virtual nominal single view is generated based on the target position and the target orientation of the measuring device based on the virtual 3D model 12 from the video camera 16 of the meter 12 is detected. Subsequently, the current actual position and actual orientation of the measuring device 12 Captured by landmarks in the current video image 49 the video camera 16 be determined, that on display 22 is displayed, after which these landmarks are compared with those of the virtual 3D model. Based on matching landmarks then the current actual position and orientation of the measuring device 12 be determined. To the user based on the current actual position and actual orientation of the meter 12 to the location 50 to navigate will be on display 22 now corresponding arrows 52 in the current video image 49 the video camera 16 as it appears in 5 is shown by way of example. Once the actual position and orientation and the target position and target orientation of the meter 12 close enough to each other, the navigation mode is changed so that now the virtual target single view based on the virtual 3D model in terms of location 50 was calculated as (partially dashed) partially transparent image 53 on the display 22 of the meter 12 is displayed as it is in 6 is shown. Now the user can view the current video image 49 that on the display 22 is displayed with the semi-transparent image 53 bring the virtual target single view into coverage, whereupon the meter 12 the location 50 achieved and the necessary supplementary measurements can be carried out. The new measured values can in turn be integrated into the virtual 3D model.

7 zeigt eine weitere Ausführungsform eines erfindungsgemäßen Messsystems 60, dass sich lediglich dahingehend von dem in 7 shows a further embodiment of a measuring system according to the invention 60 that only to that extent from the in

1 dargestellten Messsystem 10 unterscheidet, dass zusätzlich eine Wärmebildkamera 62 in das Gehäuse 14 des Messgeräts 12 integriert ist. Die Videokamera 16 und die Wärmebildkamera 62 sind dabei derart relativ zueinander kalibriert, dass sie den gleichen Bildbereich erfassen. Mithilfe des in 7 dargestellten Messsystems 60 können demnach sowohl Foto- bzw. Videoaufnahmen als auch Wärmebildaufnahmen von Teilbereichen eines Raumes generiert werden. Die von der Wärmebildkamera 62 erstellten Einzelaufnahmen können dann in Form halbtransparenter Abbildungen oder dergleichen in die Einzelaufnahmen der Videokamera 16 und/oder in das virtuelle 3D-Modell integriert werden, so dass die von der Wärmebildkamera 62 aufgezeichneten Temperaturdaten direkt eine räumliche Zuordnung erhalten. 1 illustrated measuring system 10 differentiates that in addition a thermal imaging camera 62 in the case 14 of the meter 12 is integrated. The video camera 16 and the thermal imager 62 are calibrated relative to each other so that they capture the same image area. Using the in 7 illustrated measuring system 60 Accordingly, both photo and video recordings and thermal imaging of partial areas of a room can be generated. The of the thermal imager 62 created single shots can then in the form of semitransparent images or the like in the individual shots of the video camera 16 and / or integrated into the virtual 3D model, so that of the thermal imager 62 recorded temperature data directly obtained a spatial allocation.

Gemäß einer alternativen Ausgestaltung eines erfindungsgemäßen Messsystems 70, das in 8 dargestellt ist, ist das Messgerät 12 an seiner Rückseite mit einem Wallscanner 72 ausgerüstet, der elektrische Leitungen 74 orten kann, die beispielsweise in Raumwänden verlegt sind. Bei dieser Ausgestaltung wird das Messgerät 12, wie es in 8 veranschaulicht ist, entlang der Raumwände eines zu vermessenden Raumes 40 bewegt, wobei gleichzeitig Abstandsmessungen, Foto- bzw. Videoaufnahmen und Messungen des Wallscanners 72 durchgeführt werden. Nachdem der Raum 40 vollständig abgeschritten wurde, kann in der zuvor beschriebenen Weise ein virtuelles 3D-Modell generiert werden. Daraufhin können dann die von dem Wallscanner 72 ermittelten Messdaten in das virtuelle 3D-Modell integriert und somit räumlich zugeordnet werden. Entsprechend wird ein virtuelles 3D-Modell 73 erzielt, in dem der Verlauf der elektrischen Leitungen 74 dargestellt ist, wie es in 9 beispielhaft gezeigt ist.According to an alternative embodiment of a measuring system according to the invention 70 , this in 8th is shown is the meter 12 on its back with a Wallscanner 72 equipped with electrical wiring 74 can locate, for example, laid in room walls. In this embodiment, the measuring device 12 as it is in 8th is illustrated, along the room walls of a space to be measured 40 moves, with simultaneous distance measurements, photo and video recordings and measurements of the wall scanner 72 be performed. After the room 40 has been completed, a virtual 3D model can be generated in the manner described above. Then, then from the Wallscanner 72 determined measurement data integrated into the virtual 3D model and thus spatially assigned. Accordingly, a virtual 3D model becomes 73 achieved in which the course of the electrical lines 74 is shown as it is in 9 is shown by way of example.

Es sollte klar sein, dass die zuvor beschriebene Ausführungsformen der Erfindung nur als Beispiel dienen und in keinerlei Hinsicht einschränkend sind. Vielmehr sind Modifikationen und Ände rungen möglich, ohne den Schutzbereich der vorliegenden Erfindung zu verlassen, der durch die beiliegenden Ansprüche definiert ist.It it should be clear that the embodiments described above serve the invention only as an example and in no way are restrictive. Rather, modifications and changes are possible without the scope of protection of the present invention, which is defined by the appended claims is.

Insbesondere können zusätzlich oder alternativ zu der Wärmebildkamera 62 oder des Wallscanners 72 alternative oder zusätzliche Sensoren in das erfindungsgemäße Messsystem integriert werden.In particular, additionally or alternatively to the thermal imaging camera 62 or the wall scanner 72 alternative or additional sensors are integrated into the measuring system according to the invention.

Ferner sollte klar sein, dass die in dem Laptop integrierte Auswerteeinheit auch eine Bibliothekdatenbank zum Identifizieren und/oder Klassifizieren von Strukturelementen aufweisen kann, wie es eingangs beschrieben wurde.Further It should be clear that the evaluation unit integrated in the laptop also a library database for identifying and / or classifying Having structural elements, as described above.

Zudem können in ein virtuelles 3D-Modell, das mithilfe des erfindungsgemäßen Verfahrens modelliert wird, nach seiner Fertigstellung auch virtuelle Strukturelemente in Form von virtuellen Möbeln oder dergleichen eingefügt werden. Diese können dann beispielsweise auch in das aktuelle Videobild der Videokamera 16, das auf dem Display 22 angezeigt wird, eingeblendet werden. So kann ein Benutzer beispielsweise einen möbellosen Raum mit dem Messgerät 12 durchschreiten, wobei diejenigen Möbel, die in dem Raum aufgestellt werden sollen, auf dem Display 22 an ihren geplanten Standpunkten zusammen mit dem aktuellen Videobild eingeblendet werden. Diese Variante ist beispielsweise sehr interessant für Architekten, die ihren Kunden eine geplante Inneneinrichtung beim Besichtigen eines Rohbaus demonstrieren wollen.In addition, virtual structure elements in the form of virtual furniture or the like can be inserted into a virtual 3D model which is modeled using the method according to the invention after its completion. These can then, for example, in the current video image of the video camera 16 that on the display 22 is displayed. For example, a user may use a furniture-free room with the meter 12 go through, with the furniture that should be placed in the room on the display 22 at their planned viewpoints along with the current video image. For example, this variant is very interesting for architects who want to demonstrate their customers a planned interior design when visiting a shell.

Claims

Method for the image-based measurement of a room or a subarea of a room, comprising the steps of: - generating a plurality of individual images of a room using a camera ( 16 ) measuring system ( 10 ; 60 ; 70 ); Detecting at least one distance between the measuring system ( 10 ; 60 ; 70 ) and a spatial point of the space, wherein the detected distance is associated with a single shot; and modeling a virtual 3D model of the room using an image processing method taking into account the detected distance.

The method of claim 1, wherein generating a Single shot and capturing one of the single shot attributable Spaced synchronously.

The method of claim 1 or 2, wherein distances to a plurality Spatial points are detected and assigned to one or more individual shots.

Method according to Claim 3, in which in each case a distance between the measuring system ( 10 ; 60 ; 70 ) and three different spatial points, the three spatial points spanning a triangle.

Method according to Claim 4, in which a further distance between the measuring system ( 10 ; 60 ; 70 ) and a fourth space point, wherein the fourth space point is located within the triangle spanned by the three other space points.

Method according to one of the preceding claims, in which the position and / or orientation of the measuring system ( 10 ; 60 ; 70 ) and / or a change in the position and / or orientation of the measuring system ( 10 ; 60 ; 70 ) is detected by at least one other sensor.

Method according to one of the preceding claims, in the virtual 3D model of the room through at least one more Single shot and / or video recording and / or distance measurement is added.

Method according to Claim 7, in which a current orientation of the measuring system ( 10 ; 60 ; 70 ) within the virtual 3D model and a currently recorded by the measuring system single shot and / or video recording and / or distance measurement is added in the virtual 3D model.

Method according to Claim 7 or 8, in which a desired position and / or desired orientation of the measuring system ( 10 ; 60 ; 70 ) is detected and predetermined automatically for detecting the at least one individual recording and / or video recording and / or distance measurement to be supplemented.

Method according to Claim 9, in which the determined nominal position and / or desired orientation of the measuring system ( 10 ; 60 ; 70 ) is displayed to the user.

The method of claim 9 or 10, wherein the user to the determined desired position and / or target orientation of the measuring system ( 10 ; 60 ; 70 ) is navigated.

Method according to one of the preceding claims, in the single shots and / or the virtual 3D model more Mapping data to be assigned using at least one be detected further sensor.

The method of claim 12, wherein the additional measurement data is thermography data and / or such data using a digital X-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a wall scanner ( 72 ).

A method according to claim 12 or 13, wherein a graphical representation of measurement results through an overlay semitransparent mappings of measurement results.

Method according to one of the preceding claims, in the structural elements automatically identified and / or classified become.

Method according to one of the preceding claims, in the dimensions of structural elements are automatically displayed.

Method according to one of the preceding claims, in the virtual structure element in a current video image become.

Measuring system ( 10 ; 60 ; 70 ) for the image-based measurement of a room or a subarea of a room, in particular for carrying out a method according to one of the preceding claims, wherein the measuring system ( 10 ; 60 ; 70 ): - a camera ( 16 ), which is designed such that it can create individual recordings of a room, - at least one device for detecting distances between the measuring system ( 10 ; 60 ; 70 ) and spatial points in space, and - an evaluation unit that is set up in such a way that it can associate a detected distance with at least one individual image and can model a virtual 3D model of the space based on the individual images and at least one distance measurement.

Measuring system ( 10 ; 60 ; 70 ) according to claim 18, characterized in that the camera ( 16 ) is a video camera, with both single and video recordings can be created.

Measuring system ( 10 ; 60 ; 70 ) according to claim 18 or 19, characterized in that it comprises at least one further sensor.

Measuring system ( 10 ; 60 ; 70 ) according to claim 20, characterized in that the at least one further sensor is a thermal imaging camera ( 62 ) and / or a digital X-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a Wallscanner ( 72 ).

Measuring system ( 10 ; 60 ; 70 ) according to claim 20 or 21, characterized in that the camera ( 16 ) and the at least one further sensor are calibrated relative to each other.

Measuring system ( 10 ; 60 ; 70 ) according to one of claims 18 to 22, characterized in that the Device for detecting distances between the measuring system ( 10 ; 60 ; 70 ) and spatial points of a room has at least one rangefinder.

Measuring system ( 10 ; 60 ; 70 ) according to claim 23, characterized in that the at least one rangefinder is a laser rangefinder ( 18a . 18b . 18c . 18d ).

Measuring system ( 10 ; 60 ; 70 ) according to one of claims 18 to 24, characterized in that it comprises a tilt sensor and / or a kinematic sensor ( 20 ) having.

Measuring system ( 10 ; 60 ; 70 ) according to one of claims 18 to 25, characterized in that this is a display ( 22 ) having.

Measuring system ( 10 ; 60 ; 70 ) according to one of claims 18 to 26, characterized in that it is hand-guided.

Measuring system according to one of Claims 18 to 27, characterized that the evaluation unit is designed such that it performs the implementation of a Method according to one of the claims 1 to 16 allowed.