DE102021131129A1

DE102021131129A1 - MOBILE DEVICE AND METHOD FOR DETECTING AN OBJECT SPACE

Info

Publication number: DE102021131129A1
Application number: DE102021131129.2A
Authority: DE
Inventors: Fabian Gebert; Franz Taffner; Tim Habigt; Mandolin Maidt
Original assignee: Navvis GmbH
Current assignee: Navvis GmbH
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2023-06-01
Also published as: WO2023094588A1

Abstract

Die vorliegende Erfindung betrifft eine mobile Vorrichtung 30 zum Erfassen eines Objektraums. Sie umfasst einen mobilen Roboter 2, der einen Basiskörper 2, an dem mehrere Beine 4 bewegbar befestigt sind, und eine Steuereinrichtung 8 aufweist, mit welcher die Bewegung der Beine 4 so steuerbar ist, dass der Roboter in einer Gehpose in einer Umgebung mittels Schwenkbewegungen der Beine bewegbar ist. Ferner weist die mobile Vorrichtung 30 eine Scanvorrichtung, die mindestens eine Kamera 32 und einen ersten Mehrfachscanner 31 umfasst, und ein Gestell 1 auf, das an dem Basiskörper 3 des mobilen Roboters 2 montiert ist und an dem die Kamera 32 und der erste Mehrfachscanner 31 befestigt sind. Der mobile Roboter 2 ist dabei ausgebildet, in einem Ruhezustand eine Aufnahmepose einzunehmen, bei der die vertikale Erstreckung der aus dem Gestell 1 und der Scanvorrichtung gebildeten Einheit größer ist als in der Gehpose und bei der die optische Achse mindestens einer Kamera 32 einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -25° bis +25° liegt.The present invention relates to a mobile device 30 for capturing an object space. It comprises a mobile robot 2, which has a base body 2, to which several legs 4 are movably attached, and a control device 8, with which the movement of the legs 4 can be controlled in such a way that the robot is in a walking pose in an environment by means of pivoting movements of the legs is movable. Furthermore, the mobile device 30 has a scanning device that includes at least one camera 32 and a first multi-scanner 31, and a frame 1 that is mounted on the base body 3 of the mobile robot 2 and to which the camera 32 and the first multi-scanner 31 are attached are. The mobile robot 2 is designed to assume a recording pose in a resting state in which the vertical extension of the unit formed by the frame 1 and the scanning device is greater than in the walking pose and in which the optical axis of at least one camera 32 is at an angle with the Includes horizontal, which is in a range from -25 ° to +25 °.

Description

Die vorliegende Erfindung betrifft eine mobile Vorrichtung zum Erfassen eines Objektraums sowie ein Verfahren zum Erfassen eines Objektraums.The present invention relates to a mobile device for capturing an object space and a method for capturing an object space.

Es sind verschiedene Erfassungssysteme zum Erfassen von Objekträumen innerhalb von Gebäuden und im Außenbereich bekannt. Die vorliegende Erfindung betrifft insbesondere das Erfassen eines Objektraums innerhalb eines Gebäudes. Ein solches System ist beispielsweise in der EP 2 913 796 A1 beschrieben. In diesem Fall wird ein Laserscanner in Verbindung mit mehreren Kameras verwendet. Aus den Signalen des Laserscanners und den Bildern der Kameras wird eine Punktwolke erzeugt, aus der ein dreidimensionales Gebäudemodell erstellt wird.Various detection systems for detecting object spaces inside buildings and outdoors are known. More particularly, the present invention relates to capturing object space within a building. Such a system is, for example, in EP 2 913 796 A1 described. In this case, a laser scanner is used in conjunction with multiple cameras. A point cloud is generated from the signals from the laser scanner and the images from the cameras, from which a three-dimensional building model is created.

Für den Außenbereich existieren vergleichbare Erfassungssysteme, die auf Fahrzeugen und Flugzeugen montiert werden können. Die Referenzierung der erfassten Daten auf ein Koordinatensystem geschieht bei diesen Systemen in der Regel durch eine Positionsbestimmung mit Hilfe von Satellitennavigationssystemen.There are comparable detection systems for outdoor use that can be mounted on vehicles and aircraft. In these systems, the recorded data is usually referenced to a coordinate system by determining the position with the aid of satellite navigation systems.

Innerhalb von Gebäuden besteht diese Möglichkeit der Positionsbestimmung nicht, da dort keine Signalverbindung zu den Navigationssatelliten verfügbar ist. Außerdem ist die Positionsbestimmung für das Erfassen eines Objektraums mittels Satellitennavigation zu ungenau. Aus diesem Grund wird auch im Außenbereich für die Positionsbestimmung ergänzend auf Radodometrie, Laserodometrie oder Trägheitsnavigation (INS) zurückgegriffen. Die Satellitennavigation spielt dabei für die Georeferenzierung und Reduktion des Langzeitdrifts eine Rolle.This position determination option does not exist inside buildings, since there is no signal connection to the navigation satellites. In addition, the position determination for capturing an object space using satellite navigation is too imprecise. For this reason, radodometry, laser odometry or inertial navigation (INS) are also used outdoors for position determination. Satellite navigation plays a role in georeferencing and reducing long-term drift.

Für die Positionsbestimmung innerhalb von Gebäuden während der mobilen Erfassung von Objekträumen ist insbesondere eine möglichst schnelle Positionsbestimmung in Echtzeit erforderlich, um einem autonomen System oder einem Bediener des Systems Informationen zu dem Erfassungsvorgange in der Umgebung in Echtzeit liefern zu können, damit der Erfassungsvorgang so gesteuert werden kann, dass der Gebäudeinnenraum möglichst lückenlos und in hoher Qualität abgescannt wird.In order to be able to provide an autonomous system or an operator of the system with information about the detection processes in the area in real time, the detection process can be controlled in this way that the interior of the building is scanned as completely and in high quality as possible.

Ferner ist es erforderlich, dass eine möglichst präzise nachgelagerte Positionsbestimmung im Zeitverlauf, das heißt die Bestimmung der Trajektorie beim Erfassen des Objektraums, in der Nachverarbeitung möglich ist. Nur in diesem Fall können die kontinuierlich erfassten Messungen der Laserscanner und die in der Regel im Abstand von jeweils wenigen Metern erfassten Panoramabiilder zu einem präzisen, konsistenten 3D-Modell des Gebäudes zusammengefügt werden, beispielsweise durch Erstellung einer Punktwolke oder eines Polygonnetzes.Furthermore, it is necessary that a subsequent position determination as precisely as possible over time, that is to say the determination of the trajectory when capturing the object space, is possible in the post-processing. Only in this case can the continuously recorded measurements of the laser scanners and the panorama images, which are usually recorded at intervals of a few meters, be combined into a precise, consistent 3D model of the building, for example by creating a point cloud or a polygon mesh.

Auf die verschiedenen Methoden zur Positions- und Trajektorienbestimmung wird weiter unten eingegangen. Im weiteren folgt zunächst eine Darstellung der Datenerfassungsmethoden und Anwendungsszenarien:

Bei der Erfassung von Punktwolken mit Hilfe von Laserscannern kommen in der Regel Systeme zum Einsatz, bei denen ein Laserstrahl durch einen um eine Achse rotierenden Spiegel in einer Ebene im Raum ausgesandt wird. Alternativ können Phased-Array-Laser ohne bewegliche Teile eingesetzt werden, um einen abtastenden Laserstrahl zu erzeugen.

The various methods for determining position and trajectory are discussed below. The following is a description of the data acquisition methods and application scenarios:

When capturing point clouds with the help of laser scanners, systems are generally used in which a laser beam is emitted in a plane in space by a mirror rotating about an axis. Alternatively, phased array lasers with no moving parts can be used to generate a scanning laser beam.

Die hierbei gelieferten Daten enthalten für jedes Datenelement (Punkt der Punktwolke) in der Regel den jeweiligen Zeitstempel des jeweils ausgesandten Laserimpulses mit der zugehörigen Winkelstellung innerhalb der Rotationsachse. Ferner enthält jedes dieser Datenelemente einen oder mehrere Werte, die aus einem oder mehreren nacheinander empfangenen Reflexionssignalen abgeleitet werden und die aus der Laserlicht-Laufzeit berechnete Entfernung der jeweils reflektierenden Oberflächen in Richtung des Aussendestrahls sowie die zugehörigen Reflexionsintensitäten angeben. Halbtransparente oder halbspiegelnde Oberflächen können hierbei dazu führen, dass kurz nacheinander mehrere Reflexionssignale empfangen werden, die dann zu unterschiedlich weit entfernten Oberflächen gehören.The data supplied here usually contain the respective time stamp of the respectively emitted laser pulse with the associated angular position within the axis of rotation for each data element (point of the point cloud). Each of these data elements also contains one or more values which are derived from one or more reflection signals received one after the other and indicate the distance, calculated from the laser light propagation time, of the respective reflecting surfaces in the direction of the emitted beam and the associated reflection intensities. Semi-transparent or semi-reflecting surfaces can lead to several reflection signals being received in quick succession, which then belong to surfaces at different distances.

Aus den empfangenen Reflexionssignalen werden Entfernungen berechnet. Hieraus können zusammen mit den Intensitäten der Reflexionssignale dreidimensionale Punktkoordinaten berechnet werden, welche dann die Punktwolke bilden. Um aus den Erfassungsvorgängen mittels des bewegten Laserscanners ein konsistentes dreidimensionales Modell aufbauen zu können, wird für jede Messung ein Zeitstempel sowie die exakte Positionenausrichtung des Laserscanners im Raum erfasst.
Ähnlich verhält es sich mit den Bildinformationen von Panoramakameras, die in der Regel nur aus Bilddateien bestehen, die mit einem Zeitstempel des Aufnahmezeitpunktes versehen sind. Auch hier muss zu jedem Zeitstempel und zu jeder Bilddatei die genaue Position und Ausrichtung der jeweiligen Kamera im Raum bekannt sein oder bestimmt werden, damit - unter Zuhilfenahme von bekannten oder durch Kalibrierung zu bestimmenden Kameraparametern, wie zum Beispiel Objektivbrennweite und Abbildungscharakteristik, sowie Sensorgröße und -auflösung - die Bilddaten und die Punktwolken-Daten einander zugeordnet werden können. Auf diese Weise kann ein Objektraum dreidimensional erfasst werden.Distances are calculated from the received reflection signals. From this, together with the intensities of the reflection signals, three-dimensional point coordinates can be calculated, which then form the point cloud. In order to be able to build a consistent three-dimensional model from the recording processes using the moving laser scanner, a time stamp and the exact position alignment of the laser scanner in space are recorded for each measurement.
The situation is similar with the image information from panorama cameras, which usually only consist of image files that are provided with a time stamp of the time of recording. Here, too, the exact position and alignment of the respective camera in space must be known or determined for each time stamp and for each image file, so that - with the help of known camera parameters or those to be determined by calibration, such as lens focal length and imaging characteristics, as well as sensor size and resolution - the image data and the point cloud data can be assigned to each other. On in this way, an object space can be captured three-dimensionally.

Panoramabilder können außerdem dazu verwendet werden, einen sehr realitätsgetreuen virtuellen Rundgang durch den erfassten Objektraum zu ermöglichen. Hier stehen die Bilddateien im Vordergrund, die mittels sogenanntem „Stitching“ unter Zuhilfenahme der 3D-Information (Position und Ausrichtung der jeweiligen Kamera im Raum) zu lückenlosen 360-Grad-Panoramen zusammengefügt werden können, die der genauen Ansicht an einem bestimmten Punkt der Umgebung entsprechen, wie sie ein Betrachter vor Ort wahrnehmen würde. Die Gesamtheit der Panoramabilder repräsentiert hierbei eine Vielzahl einzelner diskreter Positionen, an denen die zugrundeliegenden Bilder aufgenommen wurden. Der Betrachter kann lediglich von einer diskreten Position zu einer anderen diskreten Position springen und von Panoramabild zu Panoramabild wechseln, im Gegensatz zum oben angeführten Punktwolkenmodell, das kontinuierlich „durchflogen“ werden kann. Das als Hintergrundinformation vorhandene Punktwolken-Modell kann hierbei dazu verwendet werden, um die Übergänge zwischen den einzelnen Panoramabildern als Überblendungen von unterschiedlich transformierten individuellen Teilausschnitten (zum Beispiel Tischoberflächen) so zu animieren, dass der Betrachter den Eindruck einer halbwegs flüssigen Bewegung im 3D-Raum zwischen den zwei diskreten Positionen erhält. Durch das Punktwolkenmodell ergeben sich noch weitere Möglichkeiten, wie zum Beispiel eine Einblendung der Punktwolke über die Foto-Panorama-Ansicht oder eine Zuordnung einer genauen 3D-Koordinate zu jedem Pixel des Panoramabildes (was zum Beispiel Längenmessungen von aufgenommen Objekten durch Anklicken der Begrenzungspunkte im Panoramabild sowie die Einblendung von ortsbezogenen Informationen („Points of Interest“) in die Panoramabilder ermöglicht).Panoramic images can also be used to provide a very realistic virtual tour of the captured object space. The focus here is on the image files, which can be stitched together using so-called "stitching" with the help of the 3D information (position and orientation of the respective camera in space) to form seamless 360-degree panoramas that represent the exact view at a specific point in the environment correspond to how they would be perceived by an on-site observer. The entirety of the panorama images here represents a large number of individual discrete positions at which the underlying images were recorded. The viewer can only jump from one discrete position to another discrete position and move from panoramic image to panoramic image, in contrast to the point cloud model above, which can be "flown through" continuously. The point cloud model available as background information can be used to animate the transitions between the individual panorama images as overlays of differently transformed individual sections (e.g. table tops) in such a way that the viewer gets the impression of a reasonably fluid movement in the 3D space between the two discrete positions. The point cloud model opens up even more possibilities, such as showing the point cloud over the photo panorama view or assigning an exact 3D coordinate to each pixel of the panorama image (which, for example, allows length measurements of recorded objects by clicking on the boundary points in the panorama image as well as the display of location-based information ("points of interest") in the panorama images).

Für kleinere Gebäude ist die Erfassung der Umgebung im Innenraum des Gebäudes durch gleichzeitige Aufnahme von Punktwolkendaten und Panoramabildern auch durch stationäre, stativgebundene Geräte möglich, die von Position zu Position bewegt werden. Die Positionen können hierbei zum Beispiel an festen Bezugspunkten und Marken im Raum ausgerichtet werden, die sich auch in bereits vorab existierenden Plänen wiederfinden, was die Zuordnung erleichtert.For smaller buildings, capturing the environment inside the building by simultaneously recording point cloud data and panoramic images is also possible using stationary, tripod-bound devices that are moved from position to position. The positions can, for example, be aligned with fixed reference points and marks in space, which can also be found in plans that already exist, which makes assignment easier.

Für die schnelle Erfassung großer Gebäude, insbesondere des Innenraums des Gebäudes, ist aber die kontinuierliche Erfassung durch ein mobiles System vorteilhaft. Hierfür werden z. B. fahrbare Geräte in „Trolley“-Bauform eingesetzt, die durch einen Bediener geschoben werden. However, continuous recording by a mobile system is advantageous for the rapid recording of large buildings, in particular the interior of the building. For this z. B. mobile devices used in "trolley" design, which are pushed by an operator.

Ein fahrbares Gestell liefert in diesem Fall eine höhere Stabilität. In Ruheposition können daher verwacklungsfreie Bilder aufgenommen werden. Des Weiteren können größere und schwerere, Kameraobjektive mit höherer Qualität, Laserscanner, Elektronikbauteile und Energiespeicher an dem fahrbaren Gerät befestigt und auf diese Weise sehr komfortabel bewegt werden. Bei allen genannten mobilen Erfassungssystemen besteht - wie oben erläutert - das Problem, dass die Trajektorie, und für Systeme, die eine visuelle Überwachung des Erfassungsvorgangs auf einem Bildschirm ermöglichen sollen, auch die Momentanposition in Echtzeit effizient und präzise bestimmt werden muss.In this case, a mobile frame provides greater stability. Blur-free pictures can therefore be taken in the rest position. In addition, larger and heavier, higher-quality camera lenses, laser scanners, electronic components and energy storage devices can be attached to the mobile device and thus be moved very conveniently. As explained above, all mobile detection systems mentioned have the problem that the trajectory and, for systems that are intended to enable visual monitoring of the detection process on a screen, the current position must also be determined efficiently and precisely in real time.

Hierfür können unterschiedliche Verfahren zum Einsatz kommen, die auch kombiniert werden können. Zum einen kommen inertiale Messeinheiten (IMU, „Inertial Measurement Unit“) zur Trägheitsnavigation in Frage, die einen oder mehrere Inertialsensoren, wie Beschleunigungssensoren und Drehratensensoren, kombinieren. Ein Problem hierbei ist jedoch der Umstand, dass sich Messfehler aufsummieren, was zu einer starken „Drift“ führen kann. Aus diesem Grund werden IMUs oft nur unterstützend eingesetzt. Gleiches gilt für Odometer.Different methods can be used for this, which can also be combined. On the one hand, inertial measurement units (IMU) can be used for inertial navigation, which combine one or more inertial sensors, such as acceleration sensors and yaw rate sensors. One problem here, however, is the fact that measurement errors add up, which can lead to a strong "drift". For this reason, IMUs are often only used as a support. The same applies to odometers.

In der Praxis kommen für mobile Systeme außerdem sogenannte SLAM-Verfahren zum Einsatz („Simultaneous Localization and Mapping“). Diese basieren auf der Annahme, dass die erfasste Umgebung statisch ist und sich nur das Erfassungssystem selbst bewegt. Im Falle eines Laserscanners werden hierbei zum Beispiel die erfassten Daten eines Laserspiegel-Rotationsdurchganges mit denen eines oder mehrerer vorangegangener Durchgänge verglichen. Unter der Annahme, dass die Umgebung statisch ist und sich das Erfassungssystem linear parallel zur Laserscan-Ebene bewegt hat, würden die beiden Punktmengen der beiden Messdurchgänge innerhalb von Messtoleranzen mehr oder weniger deckungsgleich, aber translatorisch und/oder rotatorisch verschoben sein, so dass sich hieraus unmittelbar und gleichzeitig ein Profil der Umgebung als 2D-Schnitt durch den 3D-Raum (entsprechend der Laserscanner-Ebene) und gleichzeitig der Bewegung/Drehung des Erfassungssystems innerhalb dieses 2D-Schnittes ergibt (daher der Begriff „Simultaneous Localization and Mapping“). In der Praxis darf hierbei die Bewegung und insbesondere die Drehung in Relation zur Scanfrequenz jedoch nicht zu schnell erfolgen.In practice, so-called SLAM methods (“Simultaneous Localization and Mapping”) are also used for mobile systems. These are based on the assumption that the detected environment is static and only the detection system itself is moving. In the case of a laser scanner, for example, the recorded data of a laser mirror rotation pass is compared with that of one or more previous passes. Assuming that the environment is static and the acquisition system has moved linearly parallel to the laser scan plane, the two sets of points of the two measurement runs would be more or less congruent within measurement tolerances, but shifted translationally and/or rotationally, so that immediately and simultaneously profile the environment as a 2D slice through 3D space (corresponding to the laser scanner plane) and simultaneously the movement/rotation of the acquisition system within this 2D slice (hence the term "Simultaneous Localization and Mapping"). In practice, however, the movement and in particular the rotation must not take place too quickly in relation to the scanning frequency.

Die algorithmische Zuordnung von zeitlich auseinanderliegenden Messpunkten zu identischen, mehrfach gescannten Umgebungsmerkmalen und daraus die Bestimmung der Trajektorie des Erfassungssystems und die Erstellung eines Gesamtmodells der Umgebung ist bei ausreichender Menge und Redundanz an Messpunkten zwar auch möglich, wenn sich die Laserscanner-Erfassungsrichtung im Zeitverlauf ändert und beliebig zur Bewegung des Erfassungssystems angeordnet ist, je nach Größe und Verteilung der Punktwolke und Merkmalen im Raum kann dies jedoch sehr lange Rechenzeiten erfordern, so dass diese Verfahren in der Regel bei hohem Detaillierungsgrad nur in der Nachverarbeitung („Post-Processing“) eingesetzt werden können, aber nicht zur Echtzeit-Darstellung der Bewegung im Raum während des Erfassungsvorgangs. So ist es beispielsweise bei den oben erwähnten stationären, stativgebundenen Lösungen üblich, die erfassten Daten der einzelnen Scan-Positionen in ein cloud-basiertes Rechenzentrum hochzuladen und dort in einer Nachverarbeitung zu einem konsistenten Modell zusammenfügen zu lassen.The algorithmic assignment of measurement points that are at different times to identical, multiple-scanned environmental features and from this the determination of the trajectory of the detection system and the creation of an overall model of the environment is also possible with a sufficient number and redundancy of measurement points, if the laser scanner detection direction changes over time and is arranged arbitrarily to the movement of the detection system, depending on the size and distribution of the point cloud and features in space, however, this can require very long computing times, so that these methods can usually only be used in the Post-processing can be used, but not for real-time representation of movement in space during the acquisition process. For example, with the stationary, tripod-based solutions mentioned above, it is common to upload the recorded data of the individual scan positions to a cloud-based data center and have them combined there in post-processing to form a consistent model.

Vergleichbar hiermit sind photogrammetrische Verfahren, bei denen aus einer Vielzahl von Bildern, die von ein und demselben Objekt oder derselben Umgebung aus verschiedenen Blickwinkeln aufgenommen wurden, ein texturiertes 3D-Modell erstellt werden kann, indem zum Beispiel das sogenannte Bundle-Adjustment-Verfahren zum Einsatz kommt, bei dem in einem Optimierungsprozess gleichzeitig die Positionen der Punkte im 3D-Raum, die Positionen und Orientierungen der beobachtenden Kameras sowie deren interne Kalibrierparameter an die Messbilder angepasst werden. Diese Verfahren liefern für gut texturierte Oberflächen gute Ergebnisse, scheitern aber bei gleichfarbigen, merkmalsarmen Oberflächen sowie bei komplizierteren Verschneidungen und spiegelnden Objekten.Comparable to this are photogrammetric methods, in which a textured 3D model can be created from a large number of images that were taken of one and the same object or the same environment from different perspectives, for example by using the so-called bundle adjustment method in which the positions of the points in the 3D space, the positions and orientations of the observing cameras and their internal calibration parameters are simultaneously adjusted to the measurement images in an optimization process. These methods deliver good results for well-textured surfaces, but fail with surfaces of the same color and few features, as well as with more complicated intersections and reflective objects.

Bei sogenannten Virtual-Reality- bzw. Augmented-Reality-Anwendungen, die auch von Mobiltelefonen (Smartphones) ausgeführt werden können, existieren darüber hinaus Lösungen, die ähnlich zum SLAM-Verfahren bzw. photogrammetrischen Verfahren funktionieren. Hierbei werden in Echtzeit erfasste Bildfolgen der Smartphone-Kameras analysiert, um darin Umgebungsmerkmale im Zeitverlauf zu verfolgen, in der Regel unterstützt durch Messdaten der ebenfalls in Smartphones verbauten IMUs, so dass hieraus eine grobe Erfassung der Umgebung sowie der Bewegung des Smartphones im Raum in Echtzeit abgeleitet werden kann, was dann zum Beispiel die passgenaue Einblendung virtueller Objekte in das Kamerasucherbild ermöglicht.In the case of so-called virtual reality or augmented reality applications, which can also be executed by mobile phones (smartphones), there are also solutions that function similarly to the SLAM method or photogrammetric method. Here, image sequences captured by the smartphone cameras in real time are analyzed in order to track environmental features over time, usually supported by measurement data from the IMUs also built into smartphones, so that a rough recording of the environment and the movement of the smartphone in space can be made in real time can be derived, which then enables, for example, the precise display of virtual objects in the camera viewfinder image.

Für kleinere Räume und kurze Entfernungen eignen sich auch sogenannte „Structured Light“-Lösungen, bei denen vom Erfassungssystem aus (Infrarot-)Punktmuster abgestrahlt werden, deren Verzerrung im Kamerabild Rückschlüsse auf die 3D-Struktur der erfassten Szene liefert.So-called "structured light" solutions are also suitable for smaller rooms and short distances, in which (infrared) dot patterns are emitted from the detection system, the distortion of which in the camera image provides conclusions about the 3D structure of the detected scene.

Ferner sind sogenannte Time-of-Flight-Kameras bekannt, die ähnlich wie ein parallel arbeitender Laserscanner einen Lichtblitz aussenden und für jedes Pixel des Kamerasensors sehr präzise den individuellen Zeitpunkt bestimmen, an dem das Reflexionssignal erfasst wird, so dass sich über die Lichtlaufzeit hieraus eine Entfernungsinformation für das betreffende Pixel ergibt. So-called time-of-flight cameras are also known, which, similar to a laser scanner working in parallel, emit a flash of light and very precisely determine the individual point in time for each pixel of the camera sensor at which the reflection signal is recorded, so that a Distance information for the pixel in question results.

Aufgrund der geringen Auflösung und der begrenzten Reichweite und Präzision eignen sich diese Systeme jedoch nicht für die detaillierte Erfassung großer Gebäude.However, due to the low resolution and the limited range and precision, these systems are not suitable for the detailed recording of large buildings.

Gleiches gilt für Stereo-Tiefenkameras, die ähnlich dem menschlichen Auge aus der Parallaxeninformation zweier Kamerabilder Tiefeninformationen gewinnen. Auch hier ist die Präzision und Auflösung für Vermessungs-Anwendungen ungenügend.The same applies to stereo depth cameras, which, like the human eye, obtain depth information from the parallax information of two camera images. Here, too, the precision and resolution is insufficient for surveying applications.

Für hochpräzise Erfassungssysteme, mit denen größere Gebäude bis auf wenige Millimeter genau gescannt werden sollen (z.B. trolley-basierten Mobile-Mapping-Systemen), eignen sich daher insbesondere Laserscanner.Laser scanners are therefore particularly suitable for high-precision detection systems that are used to scan larger buildings with an accuracy of a few millimeters (e.g. trolley-based mobile mapping systems).

Bei diesen Mobile-Mapping-Systemen kann die Echtzeit-Visualisierung des Erfassungsvorgangsvorgangs und der Bewegung im Raum auf einem Bediener-Bildschirm dann besonders einfach, robust und schnell erfolgen, wenn - wie im obigen Beispiel dargestellt - ein 2D-Laserscanner in einer während der Bewegung konstant bleibenden Ebene scannt, das heißt sich das Erfassungssystem auch in einer hierzu parallelen 2D-Ebene bewegt, wie dies in Gebäuden mit ebenen Böden in den Räumen und Gängen der Fall ist. In diesem Fall spricht man auch von 2D-SLAM bzw. Realtime-2D-SLAM mit drei Freiheitsgraden (3 DoF, „Degrees of Freedom“) (das heißt 2 Raumachsen X-Y und eine Drehachse - „Gieren“/„yaw“).With these mobile mapping systems, the real-time visualization of the acquisition process and the movement in space on an operator screen can be carried out particularly easily, robustly and quickly if - as shown in the example above - a 2D laser scanner is in a during the movement scans a plane that remains constant, i.e. the detection system also moves in a parallel 2D plane, as is the case in buildings with level floors in the rooms and corridors. In this case, one also speaks of 2D-SLAM or real-time 2D-SLAM with three degrees of freedom (3 DoF, "Degrees of Freedom") (i.e. 2 spatial axes X-Y and one axis of rotation - "yawing"/"yaw").

Da der vorgenannte für das 2D-SLAM-Verfahren ausgerichtete Laserscanner während der Bewegung durch den Raum horizontal ausgerichtet ist und immer dieselbe konstante Ebene scannt und den Raum selbst nicht flächendeckend erfasst, kommen für die Erfassung der eigentlichen Punktwolke daher weitere 2D-Laserscanner zum Einsatz, die in anderen Ebenen angeordnet sind, so dass durch die Fortbewegung des Erfassungssystems diese Scan-Ebenen den Raum gleichmäßig überstreichen, damit die Umgebung möglichst gleichmäßig und vollständig gescannt und erfasst wird.Since the above-mentioned laser scanner, which is designed for the 2D SLAM method, is horizontally aligned during the movement through space and always scans the same constant plane and does not cover the entire space itself, additional 2D laser scanners are used to capture the actual point cloud, which are arranged in other planes, so that these scanning planes cover the room evenly as the detection system moves, so that the environment is scanned and recorded as evenly and completely as possible.

Bei der Erfassung großer Gebäude ist es wünschenswert, möglichst große Flächen in einem durchgehenden Scan-Vorgang ohne Unterbrechung zu erfassen, um den Aufwand für die sogenannte Registrierung, das heißt das Zusammenfügen von Teil-Punktwolkenmodellen aus einzelnen Teil-Scanvorgängen zu einem Gesamt-Punktwolkenmodel durch exaktes Ausrichten und Abgleichen der Überlappungsbereiche der Teil-Punktwolken, möglichst gering zu halten. Dieser Registrierungsvorgang ist zwar prinzipiell algorithmisch möglich, kann aber je nach Größe der Teilmodelle rechenintensiv sein und trotzdem manuelle Vor- oder Nachjustierung erfordern. When capturing large buildings, it is desirable to capture as large an area as possible in one continuous scan process without interruption in order to reduce the effort for the so-called registration, i.e. the merging of partial point cloud models from individual partial scan processes to form an overall point cloud model exact alignment and adjustment of the over overlapping areas of the partial point clouds as small as possible. In principle, this registration process is algorithmically possible, but depending on the size of the partial models, it can be computationally intensive and still require manual pre- or post-adjustment.

Trolley-basierte Mobile-Mapping-Systeme, die mit 2D-SLAM-Verfahren arbeiten, erfordern hierbei bislang in der Regel ein Beenden des aktuellen Scan-Vorgangs und das Starten eines neuen Scan-Vorgangs, sobald zum Beispiel eine größere Stufe, steilere Rampe oder gar Treppe zu überwinden ist, auch wenn einzelne Systeme zum Beispiel durch Auswertung von IMU-Daten in der Lage sind, Rampen mit geringen Steigungen zu verarbeiten oder Störungen durch Holperschwellen, überfahrene Kabel etc. durch Korrektur-Algorithmen auszugleichen.Until now, trolley-based mobile mapping systems that work with 2D SLAM methods have usually required the current scan process to be ended and a new scan process to be started as soon as, for example, a larger step, steeper ramp or Even stairs have to be climbed, even if individual systems are able, for example by evaluating IMU data, to process ramps with low gradients or to compensate for disruptions caused by bumpy bumps, cables that have been run over, etc. using correction algorithms.

Des Weiteren sind Erfassungssysteme mit sechs Freiheitsgraden (6 DoF, Degrees of Freedom) (das heißt drei Raumrichtungen X-Y-Z und drei Drehrichtungen („Rollen-Nicken-Gieren“ / „rollpitch-yaw“ / 6DoF-SLAM-Verfahren) bekannt.Furthermore, detection systems with six degrees of freedom (6 DoF, Degrees of Freedom) (i.e. three spatial directions X-Y-Z and three directions of rotation ("roll-pitch-yaw" / "rollpitch-yaw" / 6DoF-SLAM method) are known.

Beispielsweise beschreibt die Veröffentlichung George Vosselman, „DESIGN OF AN INDOOR MAPPING SYSTEM USING THREE 2D LASER SCANNERS AND 6 DOF SLAM“, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II-3, 2014. ISPRS Technical Commission III Symposium, 5.-7. September 2014, Zurich, Switzerland. 10.5194/isprsannals-II-3-173-2014 (https://www.isprs-ann-photogramm-remote-sens-spatial-infsci. net/ll-3/173/2014/isprsannals-II-3-173-2014.pdf) ein Verfahren zum Erfassen eines Objektraums innerhalb eines Gebäudes. Dabei werden mehrere Ein-Ebenen-Scanner eingesetzt, deren Scanebenen nicht parallel zueinander angeordnet sind. Die Verarbeitung der bei diesem System erfassten Daten ist jedoch algorithmisch sehr aufwendig, so dass sich dieses Verfahren nicht zur Echtzeitvisualisierung des Scanvorgangs, sondern nur für eine Berechnung eines Punktwolkenmodells in der Nachverarbeitung eignet. Außerdem ist aus der EP 3 228 985 A1 ein Erfassungssystem in sechs Freiheitsgraden mit 3D-SLAM-Verfahren bekannt.For example, the publication describes George Vosselman, "DESIGN OF AN INDOOR MAPPING SYSTEM USING THREE 2D LASER SCANNERS AND 6 DOF SLAM", ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II-3, 2014. ISPRS Technical Commission III Symposium , 5th-7th September 2014, Zurich, Switzerland. 10.5194/isprsannals-II-3-173-2014 (https://www.isprs-ann-photogramm-remote-sens-spatial-infsci.net/ll-3/173/2014/isprsannals-II-3-173- 2014.pdf) a method for capturing an object space within a building. In this case, several single-plane scanners are used, the scanning planes of which are not arranged parallel to one another. However, the processing of the data recorded with this system is algorithmically very complex, so that this method is not suitable for the real-time visualization of the scanning process, but only for the calculation of a point cloud model in the post-processing. In addition, from the EP 3 228 985 A1 a detection system in six degrees of freedom with 3D SLAM methods is known.

Verschiedene Laserscanner sind aus der DE 10 2011 121 115 B4 oder der DE 10 2004 050 682 A1 bekannt. Ferner ist aus der EP 2 388 615 A1 und der US 2017/0269215 A1 ein Mehrfachscanner bekannt, welcher Signalstrahlen fächerförmig emittiert und die Reflexionen dieser Signalstrahlen misst.Various laser scanners are from the DE 10 2011 121 115 B4 or the DE 10 2004 050 682 A1 known. Furthermore, from the EP 2 388 615 A1 and the U.S. 2017/0269215 A1 a multiple scanner is known which emits signal beams in a fan shape and measures the reflections of these signal beams.

Trolley-basierte Systeme können insbesondere dann eingesetzt werden, wenn das zu erfassende Gebäude einen ebenen Untergrund aufweist, so dass das Trolley-basierte System über den Untergrund gerollt werden kann. In Gebäuden mit einem unebenen Untergrund oder in Gebäuden mit sehr vielen Treppen, Stufen, steilen Rampen oder Verschachtelungen, in denen ein Trolleybasiertes System nicht über längere Strecken geschoben werden kann und häufig aufgrund eines Höhenversatzes neu justiert werden müsste, sind tragbare Systeme in Rucksackform oder in der Hand gehaltene Systeme in unterschiedlichen Bauformen bekannt. Solche Systeme unterliegen Gewichtsrestriktionen. Das Gewicht muss so gering sein, dass das System noch von einer Person getragen oder in der Hand gehalten werden kann. Außerdem müssen die Scaneinrichtungen so ausgelegt sein, dass trotz der Bewegungen, die eine Person mit der Scaneinrichtung ausführt, verwacklungsfreie, scharfe Aufnahmen generiert werden können.Trolley-based systems can be used in particular when the building to be detected has a level subsoil, so that the trolley-based system can be rolled over the subsoil. In buildings with an uneven floor or in buildings with a large number of stairs, steps, steep ramps or nesting where a trolley-based system cannot be pushed over long distances and would often have to be readjusted due to a height offset, portable systems in backpack form or in hand-held systems known in different designs. Such systems are subject to weight restrictions. The weight must be so low that the system can still be carried by one person or held in the hand. In addition, the scanning devices must be designed in such a way that, despite the movements that a person performs with the scanning device, blur-free, sharp images can be generated.

Aus der WO 2021/018900 A1 ist eine Raumerfassungsvorrichtung bekannt, welche eine Scaneinrichtung und ein Gestell umfasst, welches auf den Schultern einer Person getragen werden kann.From the WO 2021/018900 A1 a spatial sensing device is known which comprises a scanning device and a cradle which can be carried on a person's shoulders.

Der Erfindung liegt die Aufgabe zugrunde, eine mobile Vorrichtung und ein Verfahren der eingangs genannten Art anzugeben, mit denen ein Objektraum autonom erfasst werden kann, und zwar auch dann, wenn der Untergrund des zu erfassten Objektraums für Trolley-basierte Systeme nicht geeignet ist.The invention is based on the object of specifying a mobile device and a method of the type mentioned at the outset with which an object space can be recorded autonomously, even if the background of the object space to be recorded is not suitable for trolley-based systems.

Erfindungsgemäß wird diese Aufgabe durch eine mobile Vorrichtung mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 8 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.According to the invention, this object is achieved by a mobile device having the features of claim 1 and a method having the features of claim 8 . Advantageous refinements and developments result from the dependent claims.

Die erfindungsgemäßen mobile Vorrichtung zum Erfassen eines Objektraums umfasst einen mobilen Roboter, der einen Basiskörper, an dem mehrere Beine bewegbar befestigt sind, und eine Steuereinrichtung aufweist, mit welcher die Bewegung der Beine so steuerbar ist, dass der Roboter in einer Gehpose in einer Umgebung mittels Schwenkbewegungen der Beine bewegbar ist. Ferner weist die mobile Vorrichtung eine Scanvorrichtung, die mindestens eine Kamera und einen ersten Mehrfachscanner umfasst, und ein Gestell auf, das an dem Basiskörper des mobilen Roboters montiert ist und an dem die Kamera bzw. Kameras und der erste Mehrfachscanner befestigt sind. Der mobile Roboter ist dabei ausgebildet, in einem Ruhezustand eine Aufnahmepose einzunehmen, bei der die vertikale Erstreckung der aus dem Gestell und der Scanvorrichtung gebildeten Einheit größer ist als in der Gehpose und bei der die optische Achse mindestens einer Kamera einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -25° bis +25° liegt.The mobile device according to the invention for detecting an object space comprises a mobile robot, which has a base body on which a plurality of legs are movably attached, and a control device with which the movement of the legs can be controlled in such a way that the robot is in a walking pose in an environment by means of Pivoting movements of the legs is movable. Furthermore, the mobile device has a scanning device that includes at least one camera and a first multi-scanner, and a frame that is mounted on the base body of the mobile robot and to which the camera or cameras and the first multi-scanner are fixed. The mobile robot is designed to assume a recording pose in a resting state in which the vertical extent of the unit formed by the frame and the scanning device is greater than in FIG Walking pose and in which the optical axis of at least one camera encloses an angle with the horizontal which is in the range from -25° to +25°.

Bei der Montage der das Gestell und die Scanvorrichtung umfassenden Einheit auf dem mobilen Roboter ergeben sich verschiedene, einander gegenläufige Anforderungen: Das Gestell sollte nach Möglichkeit aufrecht auf dem Basiskörper des mobilen Roboters montiert sein, so dass die Kamera bzw. Kameras möglichst hoch im oberen Bereich des Gestells montiert sein können und dadurch den Objektraum umfassend aufnehmen können. Nachteilig an einer solchen aufrechten Montage des Gestells mit der Kamera bzw. den Kameras ist, dass der Schwerpunkt vergleichsweise hoch angeordnet ist. Dies führt zu Instabilitäten bei der Bewegung der mobilen Vorrichtung. Dies wiederum führt zu unscharfen Scanbildern bzw. zu ungenauen Daten beim Erfassen des Objektraums. Dies ist sowohl bei der Aufnahme der digitalen Bilder durch die Kamera bzw. Kameras als auch beim kontinuierlichen Erfassen des Objektraums mittels des Mehrfachscanners während der Bewegung der mobilen Vorrichtung nachteilig. Eine niedrigere Montage des Gestells an dem Basiskörper des Roboters, bei der eine Längsachse des Gestells näher an der Horizontalen ausgerichtet ist, hat zwar den Vorteil, dass der Schwerpunkt der Einheit niedriger ist, jedoch ist diese Ausrichtung des Gestells für die Aufnahmen der Kamera bzw. Kameras nachteilig.When mounting the unit comprising the frame and the scanning device on the mobile robot, there are various conflicting requirements: If possible, the frame should be mounted upright on the base body of the mobile robot so that the camera or cameras are as high as possible in the upper area of the frame can be mounted and can thus record the object space comprehensively. The disadvantage of such an upright mounting of the frame with the camera or cameras is that the center of gravity is arranged comparatively high. This leads to instabilities in the movement of the mobile device. This in turn leads to blurred scan images or inaccurate data when capturing the object space. This is disadvantageous both when the digital images are recorded by the camera or cameras and when the object space is continuously recorded by means of the multiple scanner while the mobile device is moving. Mounting the frame lower on the base body of the robot, in which case a longitudinal axis of the frame is aligned closer to the horizontal, has the advantage that the center of gravity of the unit is lower, but this alignment of the frame is necessary for the camera and video recordings. cameras disadvantageous.

Um diesen einander gegenläufigen Anforderungen zu genügen, kann der mobile Roboter der erfindungsgemäßen mobilen Vorrichtung verschiedene Posen annehmen. In der Gehpose, in welcher sich der mobile Roboter mit der darauf montierten Scanvorrichtung bewegt, weist die aus dem Gestell und der Scanvorrichtung gebildete Einheit eine geringere vertikale Erstreckung auf als in der nachfolgend beschriebenen Aufnahmepose. Das Gestell ist in diesem Fall horizontaler ausgerichtet als in der Aufnahmepose. In der Aufnahmepose wird die Ausrichtung des mobilen Roboters hingegen so verändert, dass die vertikale Erstreckung der aus dem Gestell und der Scanvorrichtung gebildeten Einheit größer ist als in der Gehpose. In diesem Fall ist das Gestell somit aufrechter, das heißt näher an der Vertikalen ausgerichtet als in der Gehpose. Auch wenn in diesem Fall der Schwerpunkt der aus dem Gestell und der Scanvorrichtung gebildeten Einheit höher ist als in der Gehpose, führt dies nicht zu Instabilitäten, da in der Aufnahmepose der mobile Roboter nicht bewegt werden soll. Ferner ist die Kamera so an dem Gestell befestigt, dass in der Aufnahmepose die optische Achse der Kamera einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -25° bis +25° liegt. Vorteilhafterweise kann hierdurch der Objektraum durch die Kamera umfassend erfasst werden.In order to meet these conflicting requirements, the mobile robot of the mobile device according to the invention can assume different poses. In the walking pose, in which the mobile robot moves with the scanning device mounted thereon, the unit formed from the frame and the scanning device has a smaller vertical extent than in the recording pose described below. In this case, the frame is aligned more horizontally than in the shooting pose. In contrast, in the recording pose, the orientation of the mobile robot is changed in such a way that the vertical extension of the unit formed by the frame and the scanning device is greater than in the walking pose. In this case, the frame is thus more upright, ie aligned closer to the vertical, than in the walking pose. Even if in this case the center of gravity of the unit formed from the frame and the scanning device is higher than in the walking pose, this does not lead to instabilities since the mobile robot should not be moved in the recording pose. Furthermore, the camera is fastened to the frame in such a way that, in the recording pose, the optical axis of the camera encloses an angle with the horizontal which is in a range from -25° to +25°. In this way, the object space can advantageously be comprehensively captured by the camera.

Die an dem Gestell montierte Kamera bzw. die montierten Kameras sind insbesondere ausgebildet, Kamerabilder zumindest eines Teils des Objektraums aufzunehmen. Die von der Kamera bzw. den Kameras aufgenommenen Bilder können beim Erzeugen der verschiedenen graphischen Darstellungen des Objektraums in Echtzeit berücksichtigt werden. Auf diese Weise kann eine sehr realitätsnahe Darstellung des begangenen und/oder begehbaren Bereichs des Objektraums oder des von der mobilen Vorrichtung bereits abgetasteten Bereichs des Objektraums in Echtzeit erzeugt werden.The camera or cameras mounted on the frame are designed in particular to record camera images of at least part of the object space. The images recorded by the camera or cameras can be taken into account in real time when generating the various graphical representations of the object space. In this way, a very realistic representation of the area of the object space walked and/or accessible or of the area of the object space already scanned by the mobile device can be generated in real time.

Der erste Mehrfachscanner umfasst insbesondere eine Vielzahl von in einem Bauteil integrierten Emissionseinheiten zum Erzeugen einer Vielzahl von Signalstrahlen in definierten Emissionsrichtungen, einen Empfänger zum Detektieren von Reflexionsstrahlungen, die durch Reflexionen der Signalstrahlen an einem oder mehreren Objekten des Objektraums erzeugt werden, und eine Abtasteinrichtung zum Verändern der Emissionsrichtungen der Signalstrahlen. Der Einsatz des Mehrfachscanners ermöglicht das unterbrechungsfreie Erfassen des Objektraums. Durch die Verwendung des Mehrfachscanners kann nämlich ein Echtzeit-3D-SLAM-Verfahren mit sechs Freiheitsgraden eingesetzt werden. Es ist nicht erforderlich, den Erfassungsvorgang in Teilvorgänge zu unterteilen und diese Teilvorgänge in der Nachverarbeitung wieder zusammenzusetzen.The first multiple scanner comprises in particular a large number of emission units integrated in one component for generating a large number of signal beams in defined emission directions, a receiver for detecting reflected radiation which is generated by reflections of the signal beams on one or more objects in the object space, and a scanning device for changing the emission directions of the signal beams. The use of the multiple scanner enables the uninterrupted recording of the object space. This is because a real-time 3D SLAM method with six degrees of freedom can be used by using the multiple scanner. It is not necessary to divide the acquisition process into sub-processes and to reassemble these sub-processes in post-processing.

Aus der Verwendung des Mehrfachscanners in der erfindungsgemäßen mobilen Vorrichtung ergibt sich der Vorteil, dass die Vorrichtung in der Bewegung immer nicht nur neue Oberflächenabschnitte des Objektraums erfasst, indem die Signalstrahlen diese Oberflächenabschnitte überstreichen, sondern dass die Signalstrahlen immer auch auf bereits zuvor erfasste Oberflächenabschnitte treffen, das heißt solche Oberflächenabschnitte, die bereits von zuvor ausgesandten anderen Signalstrahlen erfasst wurden. Hierdurch wird es möglich, einen Abgleich der von dem Empfänger detektierten Reflexionsstrahlungen mit bereits zuvor detektierten Reflexionsstrahlungen durchzuführen. Aus diesem Abgleich kann dann die Bewegung der mobilen Vorrichtung berechnet werden, so dass es möglich ist, die Position der mobilen Vorrichtung im Objektraum zu bestimmen. Hierdurch ist es wiederum möglich, eine graphische Darstellung derjenigen Bereiche des Objektraums zu erzeugen und auszugeben, durch welche die Raumerfassungsvorrichtung bewegt wurde. Hieraus wiederum lässt sich anhand einer vorläufigen Modellierung des Objektraums anhand der Daten, die zumindest aus den Reflexionsstrahlungen gewonnen werden können, bestimmen, durch welche Bereiche im Objektraum die mobilen Vorrichtung bewegt werden kann. Diese möglichen Bewegungen der Vorrichtung im Objektraum können außerdem graphisch dargestellt und ausgegeben werden.The use of the multiple scanner in the mobile device according to the invention results in the advantage that the device not only always detects new surface sections of the object space during the movement, in that the signal beams sweep over these surface sections, but that the signal beams also always hit surface sections that have already been detected, that is, those surface sections that have already been detected by previously emitted other signal beams. This makes it possible to carry out a comparison of the reflected radiation detected by the receiver with previously detected reflected radiation. The movement of the mobile device can then be calculated from this comparison, so that it is possible to determine the position of the mobile device in the object space. This in turn makes it possible to generate and output a graphical representation of those areas of the object space through which the space detection device was moved. This in turn can be used to determine through which areas in the object space the mobile device can be moved using a preliminary modeling of the object space based on the data that can be obtained at least from the reflection radiation. These possible movements of the device in the object dreams can also be displayed and output graphically.

Die Emissionsrichtungen des ersten Mehrfachscanners sind insbesondere fächerförmig, so dass ein Emissionsfächer mit einer Mittelachse gebildet ist. Der Öffnungswinkel des Emissionsfächers kann dabei insbesondere in einem Bereich von 25° bis 35° liegen. Bevorzugt ist der Öffnungswinkel 30°.The emission directions of the first multiple scanner are in particular fan-shaped, so that an emission fan is formed with a central axis. The opening angle of the emission fan can in particular be in a range from 25° to 35°. The opening angle is preferably 30°.

Bei den Emissionseinheiten des Mehrfachscanners handelt es sich insbesondere um einen oder mehrere Laser. Die Signalstrahlen können dabei durch mehrere Laser simultan, fächerförmig in die Emissionsrichtungen emittiert werden. Bevorzugt werden jedoch nacheinander Laserpulse (Signalpulse) in die Emissionsrichtungen emittiert, so dass sich nur bei einer Betrachtung eines bestimmten Zeitintervalls die fächerförmige Emission der Signalstrahlen in den Emissionsrichtungen ergibt. Die Laserpulse in den Emissionsrichtungen können dabei von einem Laser emittiert werden, dessen Emissionsrichtung verändert wird. Bevorzugt werden jedoch mehrere Laser verwendet, die nacheinander Pulse in verschiedene Emissionsrichtungen emittieren. Die Abstände der Pulse können dabei so gewählt werden, dass die Reflexion des Laserpulses erfasst wird, bevor der nächste Laserpuls ausgesendet wird. Somit hängt der Zeitabstand zwischen den Laserpulsen von der Reichweite ab, die von den Signalstrahlen zur Erfassung des Objektraums erreicht werden soll.The emission units of the multiple scanner are, in particular, one or more lasers. The signal beams can be emitted simultaneously by several lasers in a fan shape in the emission directions. However, laser pulses (signal pulses) are preferably emitted one after the other in the emission directions, so that the fan-shaped emission of the signal beams in the emission directions only results when a specific time interval is considered. The laser pulses in the emission directions can be emitted by a laser whose emission direction is changed. However, several lasers are preferably used, which successively emit pulses in different emission directions. The distances between the pulses can be selected in such a way that the reflection of the laser pulse is detected before the next laser pulse is emitted. Thus, the time interval between the laser pulses depends on the range to be reached by the signal beams for capturing the object space.

Die Abtasteinrichtung ist insbesondere ausgebildet, die Emissionsrichtungen der Signalstrahlen um eine Rotationsachse zu drehen. Der erste Mehrfachscanner tastet somit das Volumen des Rotationskörpers eines Fächers ab.In particular, the scanning device is designed to rotate the emission directions of the signal beams about an axis of rotation. The first multiple scanner thus scans the volume of the body of revolution of a fan.

Die Rotationsachse des ersten Mehrfachscanners ist insbesondere hinsichtlich einer Bewegungsrichtung der mobilen Vorrichtung nach vorne gekippt. Das Kippen der Rotationsachse ist ferner vorteilhaft für das Echtzeit-3D-SLAM-Verfahren. Es werden in diesem Fall nämlich nicht nur exakt horizontal zur Bewegungsrichtung verlaufende Schnitte durch den Objektraum zur Echtzeitvisualisierung geliefert, sondern quer zur Bewegungsrichtung verlaufende Schnitte.The axis of rotation of the first multiple scanner is tilted forward in particular with respect to a direction of movement of the mobile device. Tilting the axis of rotation is also advantageous for the real-time 3D SLAM method. In this case, not only slices running exactly horizontally to the direction of movement through the object space are provided for real-time visualization, but slices running transversely to the direction of movement.

Hierdurch werden einerseits die für das SLAM-Verfahren notwendigen Informationen noch erfasst, das heißt es können wiederkehrende Merkmale der Umgebung, die in aufeinanderfolgenden Rotationsdurchgängen des insbesondere als Laserscanner ausgebildeten Mehrfachscanners erfasst werden, erkannt werden. So könnte z.B. ein Umgebungsmerkmal, das in einem Rotationsdurchgang in einer ersten Scanebene des Mehrfachscanners erfasst wurde, im darauffolgenden Rotationsdurchgang im Erfassungs-Datensatz der nächsten oder übernächsten Ebene des Scanners wieder auftauchen.As a result, on the one hand, the information required for the SLAM method is still recorded, ie recurring features of the environment, which are recorded in successive rotation passes of the multiple scanner designed in particular as a laser scanner, can be recognized. For example, an environmental feature that was captured in a rotation run in a first scan level of the multiple scanner could reappear in the subsequent rotation run in the acquisition data set of the next level of the scanner or the next but one.

Andererseits werden so auch schnell große Raumbereiche zum Zweck der Steuerung des mobilen Roboters erfasst, darunter vor allem nahegelegene Merkmale des Bodens vor der mobilen Vorrichtung und weiter entfernte Merkmale der Decke hinter der mobilen Vorrichtung. Es wird insbesondere eine Visualisierung der erfassten Umgebung in 3D ermöglicht, und zwar in einer Darstellung, die mehr Details liefert als eine Mehrfach-Scheiben-Linien-Schnitt-Darstellung, welche bevorzugt dann zur Anwendung kommt, wenn es um schnelle Erfassung großer Raumbereiche in Echtzeit, insbesondere mit hoher Reichweite nach vorne in Fahrtrichtung geht, wie es insbesondere für die autonome Bewegung des mobilen Roboters vorteilhaft ist.On the other hand, large areas of space are also quickly captured in this way for the purpose of controlling the mobile robot, including in particular nearby features of the floor in front of the mobile device and more distant features of the ceiling behind the mobile device. In particular, a visualization of the detected environment in 3D is made possible, namely in a representation that provides more details than a multi-slice line-intersection representation, which is preferably used when it comes to quickly capturing large spatial areas in real time , In particular with a long range forward in the direction of travel, as is particularly advantageous for the autonomous movement of the mobile robot.

Unter einer autonomen Bewegung wird in dieser Schrift zum einen verstanden, dass die Vorrichtung sich selbstständig fortbewegen kann, also nicht getragen werden muss. Zusätzlich ist es jedoch zum anderen auch möglich, dass die mobile Vorrichtung selbstständig navigiert und manövriert.In this document, an autonomous movement is understood to mean that the device can move independently, ie does not have to be carried. In addition, however, it is also possible for the mobile device to navigate and maneuver independently.

Mit der erfindungsgemäßen Vorrichtung lassen sich insbesondere unwegsame Gebäude oder Gelände, wie z.B. Baustellen oder andere Außengelände, und unwegsame Umgebungen, wie zum Beispiel Höhlen, erfassen.In particular, impassable buildings or terrain, such as construction sites or other outdoor terrain, and impassable surroundings, such as caves, can be detected with the device according to the invention.

Gemäß einer Ausgestaltung der mobilen Vorrichtung ist eine Längsachse des Basiskörpers des mobilen Roboters in der Gehpose im Wesentlichen horizontal ausgerichtet ist. In der Aufnahmepose schließt die Längsachse des Basiskörpers hingegen einen Winkel mit der Horizontalen ein, der insbesondere in einem Bereich von 20° bis 40° liegt. Der Winkel ist Beispielsweise in einem Bereich von 25° bis 35°. Bevorzugt ist dieser Winkel 30°.According to one configuration of the mobile device, a longitudinal axis of the base body of the mobile robot is aligned essentially horizontally in the walking pose. In the recording pose, on the other hand, the longitudinal axis of the base body encloses an angle with the horizontal, which is in particular in a range from 20° to 40°. The angle is, for example, in a range from 25° to 35°. This angle is preferably 30°.

Durch die Ausrichtung des Basiskörpers in der Gehpose wird erreicht, dass sich der mobile Roboter, auf dem die Scanvorrichtung montiert ist, besonders stabil bewegen kann. Durch die Schrägstellung des Basiskörpers in der Aufnahmepose wird vorteilhafterweise auf besonders einfache Weise erreicht, dass die Kamera bzw. Kameras in eine geeignete Position und Ausrichtung für eine Aufnahme des zu erfassenden Objektraums gebracht werden. Wie bereits beschrieben, ist diese geeignete Position dadurch gekennzeichnet, dass die optische Achse mindestens einer Kamera einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -25° bis +25° liegt. Vorteilhafterweise kann durch diese im Wesentlichen horizontale Ausrichtung der Objektraum durch die Kamera bzw. Kameras besonders gut und vollständig erfasst werden.By aligning the base body in the walking pose, the mobile robot on which the scanning device is mounted can move in a particularly stable manner. As a result of the inclined position of the base body in the recording pose, it is advantageously achieved in a particularly simple manner that the camera or cameras are brought into a suitable position and orientation for recording the object space to be recorded. As already described, this suitable position is characterized in that the optical axis of at least one camera encloses an angle with the horizontal which is in a range from -25° to +25°. Advantageously, this substantially horizontal orientation allows the object space to be recorded particularly well and completely by the camera or cameras.

Entscheidend ist hierbei einerseits, dass der tote Winkel und die von diesem umschlossene mobile Vorrichtung ausgehend von der Kamera bzw. den Kameras in Richtung des Bodens liegen, so dass der Verlust von Bildinformationen der Umgebung in diesem Bereich am wenigsten nachteilig ist, da der Boden in Panoramabildern in der Regel der unwichtigste Bereich ist.On the one hand, it is crucial that the blind spot and the mobile device surrounded by it are located in the direction of the ground, starting from the camera or cameras, so that the loss of image information of the environment in this area is least disadvantageous, since the ground in Panoramic images is usually the least important area.

Umgekehrt ist hierdurch gleichzeitig die Abbildungsqualität in der Umgebung der Horizontalen am besten. Für die Erstellung von Panoramabildern ist es nämlich besonders wichtig, dass der horizontale Bereich, der der hauptsächlichen Blickrichtung eines aufrecht stehenden menschlichen Betrachters entspricht, besonders gut abgebildet wird.Conversely, this means that the imaging quality is best in the vicinity of the horizontal. For the creation of panorama images, it is particularly important that the horizontal area, which corresponds to the main viewing direction of an upright human observer, is shown particularly well.

Die hierdurch erreichte Optimierung der Bildqualität im Bereich der Horizontalen basiert zum einen darauf, dass die optische Achse der Kamera bzw. Kameras auch im Wesentlichen horizontal ausgerichtet ist und gleichzeitig die Abbildungsqualität der Kameraobjektive nahe der optischen Achse am höchsten ist, während optische Abbildungsfehler, die auch durch Bildverarbeitung nicht korrigierbar sind, mit zunehmenden Abstand zur optischen Achse des Objektivs zunehmen.The optimization of the image quality achieved in this way in the horizontal area is based on the one hand on the fact that the optical axis of the camera or cameras is also aligned essentially horizontally and at the same time the imaging quality of the camera lenses is highest near the optical axis, while optical imaging errors, which also cannot be corrected by image processing, increase with increasing distance from the optical axis of the lens.

Zum anderen basiert die Optimierung der Bildqualität im Bereich der Horizontalen darauf, dass in Randbereichen auftretende Verzerrungen durch die Abbildung von Weitwinkelobjektiven minimiert werden, die auch durch algorithmische Entzerrung z.T. nicht vollständig korrigiert werden können. Auch solche Verzerrungen wirken sich dann besonders störend aus, wenn sie im Bereich der horizontalen Blickrichtung eines menschlichen Betrachters liegen. Gleiches gilt für sogenannte „Stitching-Artefakte“, die beim Zusammenfügen von Einzelaufnahmen zu einem Panoramabild entstehen.On the other hand, the optimization of the image quality in the horizontal area is based on the fact that distortions occurring in the peripheral areas are minimized by the imaging of wide-angle lenses, which in some cases cannot be completely corrected even by algorithmic equalization. Such distortions also have a particularly disruptive effect when they are in the range of the horizontal viewing direction of a human observer. The same applies to so-called "stitching artefacts" that arise when merging individual images into a panorama image.

Gemäß einer Ausgestaltung der mobilen Vorrichtung umfasst der mobile Roboter zwei vordere Beine, die im vorderen Bereich des Basiskörpers befestigt sind, und zwei hintere Beine, die im hinteren Bereich des Basiskörpers befestigt sind. Die Steuereinrichtung ist in diesem Fall ausgebildet, die vertikalen Positionen der Verbindungen der zwei vorderen oder der zwei hinteren Beine abzusenken, um den mobilen Roboter von der Gehpose in die Aufnahmepose zu bringen.According to an embodiment of the mobile device, the mobile robot includes two front legs that are attached to the front area of the base body and two rear legs that are attached to the rear area of the base body. In this case, the control device is configured to lower the vertical positions of the connections of the two front legs or the two rear legs in order to bring the mobile robot from the walking pose to the pick-up pose.

Alternativ oder zusätzlich kann die Steuereinrichtung ausgebildet sein, die vertikalen Positionen der Verbindungen des anderen Beinpaars ausgewählt aus den zwei vorderen oder zwei hinteren Beine anzuheben, um den mobilen Roboter von der Gehpose in die Aufnahmepose zu bringen.Alternatively or additionally, the controller may be configured to raise the vertical positions of the connections of the other pair of legs selected from the two front or two rear legs in order to bring the mobile robot from the walking pose to the pick-up pose.

Auf diese Weise kann der mobile Roboter besonders einfach durch Schwenkbewegungen der Beine die Ausrichtung des Basiskörpers verändern.In this way, the mobile robot can change the alignment of the base body particularly easily by pivoting movements of the legs.

Gemäß einer Ausgestaltung der mobilen Vorrichtung sind die Beine jeweils gelenkig mit dem Basiskörper verbunden. Die Beine weisen insbesondere jeweils ein Zwischengelenk zwischen einem oberen Teil und einem unteren Teil des jeweiligen Beins auf. Hierdurch sind die vertikalen Positionen der Verbindungen der zwei vorderen oder der zwei hinteren Beine absenkbar und/oder anhebbar, indem der Winkel zwischen dem oberen Teil und dem unteren Teil der jeweiligen Beine beim jeweiligen Zwischengelenk verkleinert oder vergrößert wird, um den mobilen Roboter von der Gehpose in die Aufnahmepose zu bringen.According to one embodiment of the mobile device, the legs are each articulated to the base body. In particular, the legs each have an intermediate joint between an upper part and a lower part of the respective leg. Hereby the vertical positions of the joints of the two front or the two rear legs can be lowered and/or raised by reducing or increasing the angle between the upper part and the lower part of the respective legs at the respective intermediate joint in order to move the mobile robot from the walking pose to get into the shooting pose.

Gemäß einer weiteren Ausgestaltung ist zwischen dem Basiskörper 3 und dem Gestell 1 eine bewegliche Vorrichtung mit einem oder mehreren Aktuatoren, z.B. ein Roboterarm angebracht, so dass der Überganz zwischen Gehpose und Aufnahmepose nicht durch ein Anheben und Absenken des Basiskörpers 3 bewirkt wird, sondern durch ein Anheben und Absenken des Gestells relativ zum Basiskörper durch die bewegliche Vorrichtung, z.B. den Roboterarm. Nachteilig an dieser Ausgestaltung ist jedoch, dass weitere Komponenten nötig sind, die zusätzliches Gewicht und zusätzliche Kosten verursachen.According to a further embodiment, a movable device with one or more actuators, e.g. a robot arm, is fitted between the base body 3 and the frame 1, so that the transition between the walking pose and the recording pose is not effected by raising and lowering the base body 3, but by a Raising and lowering of the stand relative to the base body by the movable device such as the robotic arm. A disadvantage of this configuration, however, is that additional components are required, which cause additional weight and additional costs.

Die aus der Scaneinrichtung und dem Gestell gebildete Einheit kann gemäß einer vorteilhaften Ausgestaltung der erfindungsgemäßen mobilen Vorrichtung eine Raumerfassungsvorrichtung sein, welche in der WO 2021/018900 A1 beschrieben ist, inbesondere ein mobiles Scan-System vom Typ „VLX®“ der Firma NavVis.According to an advantageous embodiment of the mobile device according to the invention, the unit formed from the scanning device and the frame can be a spatial detection device which is WO 2021/018900 A1 is described, in particular a mobile scanning system of the type “VLX®” from NavVis.

Ein solches VLX®-System kann bei der vorliegenden Erfindung ohne Modifikationen verwendet werden, wodurch vorteilhafterweise eine aufwändige Softwareanpassung oder Neukalibrierung an eine etwaig geänderte Sensor-Ausrichtung („Sensor Frame“) vermieden wird.Such a VLX® system can be used in the present invention without modifications, which advantageously avoids a complex software adaptation or recalibration to a possibly changed sensor alignment (“sensor frame”).

In der WO 2021/018900 A1 ist beschrieben, dass die Aufnahmewinkel der Kameras der Raumerfassungseinrichtung einen toten Winkel bilden, der vorteilhafterweise die Person umschließt, die das Gerät trägt, so dass diese vorteilhafterweise nicht auf den Kamerabildern und erzeugten Panoramabildern erscheint.In the WO 2021/018900 A1 it is described that the recording angles of the cameras of the room detection device form a blind spot, which advantageously encloses the person who is wearing the device, so that this person advantageously does not appear on the camera images and panorama images generated.

Gemäß einem vorteilhaften Aspekt der vorliegenden Erfindung ist eine solche Raumerfassungsvorrichtung bzw. das Gestell dergestalt relativ zu dem mobilen Roboter ausgerichtet bzw. mit diesem verbunden, dass der vorgenannte tote Winkel nicht nur die Raumerfassungsvorrichtung bzw. das Gestell umschließt, sondern zugleich auch den überwiegenden Teil des mobilen Roboters, d.h. im Endeffekt fast die gesamte erfindungsgemäße mobile Vorrichtung umschließt, so dass diese vorteilhafterweise ebenfalls überwiegend nicht auf den Kamerabildern und erzeugten Panoramabildern erscheint.According to an advantageous aspect of the present invention, such a space detection device or the frame is aligned relative to the mobile robot or connected to it in such a way that the aforementioned blind spot not only encloses the space detection device or the frame, but at the same time also the majority of the mobile robot, ie in the end almost the entire mobile device according to the invention encloses, so that this advantageously also predominantly does not appear on the camera images and panorama images generated.

Gemäß einer Ausgestaltung der mobilen Vorrichtung liegt der Aufnahmewinkel der Kamera hierbei in einer Vertikalebene in einem Bereich von 170° bis 210°, wobei sich die mobile Vorrichtung überwiegend außerhalb des Aufnahmewinkels der Kamera befindet, wenn sich der mobile Roboter in der Aufnahmepose befindet. Hierdurch ist es möglich, den Objektraum mit der Kamera in Richtung der optischen Achse der Kamera umfassend aufzunehmen, wobei jedoch die mobile Vorrichtung in der Aufnahme überwiegend ausgespart wird.According to one embodiment of the mobile device, the recording angle of the camera is in a vertical plane in a range from 170° to 210°, with the mobile device being predominantly outside the recording angle of the camera when the mobile robot is in the recording pose. This makes it possible to comprehensively record the object space with the camera in the direction of the optical axis of the camera, although the mobile device is largely left out of the recording.

Gemäß einer Ausgestaltung der mobilen Vorrichtung umfasst die Scanvorrichtung mehrere Kameras, die beabstandet auf einem Ring, insbesondere einem Kreisring, angeordnet sind, wobei der Ring einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -30° bis +30° liegt, wenn sich der mobile Roboter in der Aufnahmepose befindet.According to one embodiment of the mobile device, the scanning device comprises a plurality of cameras which are spaced apart on a ring, in particular a circular ring, arranged, the ring enclosing an angle with the horizontal which is in a range from -30° to +30° when the mobile robot is in the pickup pose.

Der horizontale Abstand der Kameras ist dabei insbesondere so gering wie möglich gewählt, so dass der von den Kameras erfasste Raum in der Umgebung der mobilen Vorrichtung in unmittelbarer Umgebung so groß wie möglich ist, wobei sich die mobile Vorrichtung außerhalb des Aufnahmewinkels der Kameras befindet. Vorteilhafterweise ist in diesem Fall eine Rundumaufnahme mittels der Kameras möglich, welche jedoch den Raumbereich, in welchem die mobile Vorrichtung angeordnet ist, ausspart.In particular, the horizontal distance between the cameras is selected to be as small as possible, so that the area captured by the cameras in the vicinity of the mobile device is as large as possible in the immediate vicinity, with the mobile device being located outside the recording angle of the cameras. In this case, an all-round recording is advantageously possible by means of the cameras, which, however, leaves out the spatial area in which the mobile device is arranged.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen mobilen Vorrichtung ist an dem Gestell eine Steuereinheit befestigt, die mit den Kameras datentechnisch gekoppelt ist und die eingerichtet ist, die Bildaufnahme mittels der Kameras zeitgleich auszulösen. Auf diese Weise ist es möglich, eine Rundumaufnahme mittels der Kameras für einen bestimmten Zeitpunkt zu erzeugen. Die Kameras ermöglichen eine im Wesentlichen vollständige Erfassung des Raumbereichs vor der mobilen Vorrichtung, insbesondere um die mobilen Vorrichtung herum.According to a further embodiment of the mobile device according to the invention, a control unit is attached to the frame, which is linked to the cameras in terms of data technology and which is set up to trigger the image recording by means of the cameras at the same time. In this way, it is possible to create an all-round recording using the cameras for a specific point in time. The cameras enable a substantially complete coverage of the spatial area in front of the mobile device, in particular around the mobile device.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen mobilen Vorrichtung umfasst die Scanvorrichtung einen zweiten Mehrfachscanner. Eine gescannte Mittelebene des ersten Mehrfachscanners schließt dabei insbesondere einen Winkel mit einer gescannten Mittelebene des zweiten Mehrfachscanners ein, der in einem Bereich von 85° bis 115° liegt. Beispielsweise ist dieser Winkel 100°. Der von dem zweiten Mehrfachscanner erfasste Öffnungswinkel liegt insbesondere in einem Bereich von 25° bis 35°. Bevorzugt ist der Öffnungswinkel 30°. Durch eine Scanvorrichtung mit zwei Mehrfachscannern, die im Wesentlichen senkrecht zueinander ausgerichtet sind, kann der Objektraum besonders genau und umfassend erfasst werden. According to a further embodiment of the mobile device according to the invention, the scanning device comprises a second multiple scanner. A scanned center plane of the first multiple scanner in particular encloses an angle with a scanned center plane of the second multiple scanner that is in a range of 85° to 115°. For example, this angle is 100°. The opening angle recorded by the second multiple scanner is in particular in a range from 25° to 35°. The opening angle is preferably 30°. The object space can be recorded particularly precisely and comprehensively by a scanning device with two multiple scanners, which are aligned essentially perpendicularly to one another.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen mobilen Vorrichtung weist der mobile Roboter eine Erfassungseinrichtung zum Erfassen der unmittelbaren Umgebung des Roboters auf. Die Steuereinrichtung ist in diesem Fall mit der Erfassungseinrichtung und dem ersten Mehrfachscanner datentechnisch gekoppelt. Sie ist insbesondere ausgebildet, die Beine der mobilen Vorrichtung ferner mittels der von der Erfassungseinrichtung erfassten Daten und/oder den von dem ersten Mehrfachscanner erfassten Daten so anzusteuern, dass sich die mobile Vorrichtung autonom durch den zu erfassenden Objektraum bewegt. Auf diese Weise kann sich der mobile Roboter sicher autonom auf dem Untergrund des Erfassungsraums bewegen.According to a further embodiment of the mobile device according to the invention, the mobile robot has a detection device for detecting the immediate surroundings of the robot. In this case, the control device is coupled in terms of data technology to the detection device and the first multiple scanner. In particular, it is designed to control the legs of the mobile device using the data recorded by the recording device and/or the data recorded by the first multiple scanner in such a way that the mobile device moves autonomously through the object space to be recorded. In this way, the mobile robot can safely move autonomously on the underground of the detection room.

Der mobile Roboter, welcher bei der mobilen Vorrichtung gemäß der Erfindung eingesetzt wird, kann ein mobiler Roboter sein, wie er in der US 2021/0041887 A1 oder der WO 2020/076418 A1 beschrieben ist, insbesondere ein mobiler Roboter vom Typ Spot® der Firma Boston Dynamics.The mobile robot used in the mobile device according to the invention may be a mobile robot as shown in FIG US 2021/0041887 A1 or the WO 2020/076418 A1 is described, in particular a mobile robot of the Spot® type from Boston Dynamics.

Das erfindungsgemäße Verfahren zum Erfassen eines Objektraums verwendet die vorstehend beschriebene mobile Vorrichtung. Bei dem Verfahren werden folgende Schritte ausgeführt:

(a) Bewegen der mobile Vorrichtung durch den zu erfassenden Objektraum in der Gehpose der mobilen Vorrichtung, wobei zumindest innerhalb eines Zeitintervalls während der Bewegung der mobilen Vorrichtung der ersten Mehrfachscanner den Objektraum durch die Emission von Signalstrahlen und die Detektion von Reflexionsstrahlen abtastet,
(b) Stoppen der Bewegung der mobilen Vorrichtung und Veränderung des Zustands des mobilen Roboters von der Gehpose in die Aufnahmepose und
(c) Aufnahme zumindest eines Kamerabilds mittels der Kamera, während sich der mobile Roboter in der Aufnahmepose befindet.

The method for detecting an object space according to the present invention uses the mobile device described above. The procedure involves the following steps:

(a) moving the mobile device through the object space to be captured in the walking pose of the mobile device, with the first multiple scanner scanning the object space at least within a time interval during the movement of the mobile device by emitting signal beams and detecting reflected beams,
(b) stopping the movement of the mobile device and changing the state of the mobile robot from the walking pose to the picking pose and
(c) recording at least one camera image by means of the camera while the mobile robot is in the recording pose.

Durch das erfindungsgemäße Verfahren kann vorteilhafterweise ein Objektraum auch dann sehr genau erfasst werden, wenn dieser Objektraum einen unwegsamen Untergrund aufweist. In diesem Fall kann nämlich die Scanvorrichtung mittels des mobilen Roboters durch die Bewegung der Beine dieses Roboters auf dem unwegsamen Untergrund bewegt werden. In der Gehpose kann dabei der Objektraum durch den ersten Mehrfachscanner abgetastet werden. Für die Aufnahme eines Kamerabildes wird die Bewegung der mobilen Vorrichtung angehalten und der mobile Roboter von der Gehpose in die Aufnahmepose gebracht. In dieser Aufnahmepose wird bei dem erfindungsgemäßen Verfahren dann das Kamerabild mittels der Kamera aufgenommen. In dieser Aufnahmepose kann durch das Kamerabild der Objektraum besser erfasst werden als in der Gehpose, da das Gestell, an dem die Kamera montiert ist, aufrechter ausgerichtet ist.With the method according to the invention, an object space can advantageously be recorded very precisely even if this object space has an impassable underground. In this In this case, the scanning device can be moved by means of the mobile robot by moving the legs of this robot on the rough ground. In the walking pose, the object space can be scanned by the first multiple scanner. For capturing a camera image, the movement of the mobile device is stopped and the mobile robot is brought from the walking pose to the capturing pose. In this recording pose, the camera image is then recorded by the camera in the method according to the invention. In this recording pose, the object space can be captured better by the camera image than in the walking pose, since the frame on which the camera is mounted is aligned more upright.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Verfahrens weist der mobile Roboter eine Erfassungseinrichtung zum Erfassen der unmittelbaren Umgebung des Roboters auf und die Steuereinrichtung ist mit der Erfassungseinrichtung und dem ersten Mehrfachscanner datentechnisch gekoppelt. Die Steuereinrichtung verarbeitet dann die von der Erfassungseinrichtung erfassten Daten und/oder von dem ersten Mehrfachscanner erfassten Daten und steuert die Beine der mobilen Vorrichtung in Abhängigkeit von den von der Erfassungseinrichtung erfassten Daten und/oder den von dem ersten Mehrfachscanner erfassten Daten an, um die mobile Vorrichtung autonom durch den zu erfassenden Objektraum zu bewegen. Vorteilhafterweise werden in diesem Fall nicht nur Erfassungsdaten der internen Erfassungseinrichtung des mobilen Roboters für die autonome Bewegung der mobilen Vorrichtung verwendet, sondern auch die sehr exakten Daten, die von dem Mehrfachscanner erfasst worden sind, für die autonome Bewegung der mobilen Vorrichtung verwendet. Auf diese Weise kann die mobile Vorrichtung noch sicherer durch den Objektraum autonom bewegt werden.According to a further embodiment of the method according to the invention, the mobile robot has a detection device for detecting the immediate surroundings of the robot and the control device is coupled in terms of data technology to the detection device and the first multiple scanner. The control device then processes the data recorded by the recording device and/or data recorded by the first multiple scanner and controls the legs of the mobile device depending on the data recorded by the recording device and/or the data recorded by the first multiple scanner in order to move the mobile Device to move autonomously through the object space to be detected. Advantageously, in this case, not only detection data from the mobile robot's internal detection device is used for the autonomous movement of the mobile device, but also the very precise data that has been detected by the multiple scanner is used for the autonomous movement of the mobile device. In this way, the mobile device can be moved autonomously through the object space even more safely.

Gemäß einer weiteren Ausgestaltung ist zusätzlich zu der Steuereinrichtung des mobilen Roboters und der an dem Gestell befestigten Steuereinheit eine weitere dritte Steuereinheit vorgesehen, die mit den beiden vorgenannten Steuereinrichtungen bzw. -einheiten datentechnisch gekoppelt ist und Daten aus einem oder beiden Systemen empfängt und / oder verarbeitet sowie Daten und/oder Steuerbefehle an eines oder beide der vorgenannten Systeme oder direkt an Teilsysteme des mobilen Roboters und/oder an Teilsysteme der Scaneinrichtung übermittelt.According to a further embodiment, in addition to the control device of the mobile robot and the control unit attached to the frame, a further third control unit is provided which is data-technically coupled to the two aforementioned control devices or units and receives and/or processes data from one or both systems as well as data and/or control commands to one or both of the aforementioned systems or directly to subsystems of the mobile robot and/or to subsystems of the scanning device.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Verfahrens werden in einem initialen Schritt vor Durchführung der Schritte (a) bis (c) der Steuereinrichtung dreidimensionale Daten, insbesondere Daten einer dreidimensionalen Punktwolke, zu dem zu scannenden Objektraum übertragen und die Steuereinrichtung führt einen virtuellen Rundgang durch den zu scannenden Objektraum mittels der übertragenen dreidimensionalen Daten durch. Üblicherweise erkundet der mobile Roboter in einem ersten physischen Rundgang, der noch von einer Bedienperson gesteuert wird, die zu erfassende Umgebung, um sich später bei autonomen Missionen anhand der erfassten Daten orientieren zu können. Bei diesem initialen physischen Rundgang werden die von der Erfassungseinrichtung erfassten Umgebungsdaten wie z.B. optische Bildinformationen, Informationen von Tiefenkameras oder Daten von inertialen Messeinheiten (IMU) in einem speziellen Datenformat aufgezeichnet, welches für die spätere autonome Navigation verwendet wird. Vorteilhafterweise ist ein solcher initialer Rundgang des mobilen Roboters bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens nicht nötig, da der Rundgang virtuell ausgeführt wird, indem der Steuereinrichtung die dreidimensionalen Daten des Objektraums zur Verfügung gestellt werden. Diese dreidimensionalen Daten entsprechen den Daten, die von der internen Erfassungseinrichtung des mobilen Roboters bei einem initialen Rundgang erfasst werden würden. Hierdurch wird vorteilhafterweise der Aufwand zum Erfassen des Objektraums reduziert. Dieses Verfahren kann auch unabhängig von der Steuereinheit des mobilen Roboters auf einem separaten Rechner durchgeführt werden und die dann in dem speziellen Datenformat für die autonome Navigation vorliegenden Daten an die Steuereinrichtgung des mobilen Roboters übertragen werden.According to a further embodiment of the method according to the invention, in an initial step before steps (a) to (c) are carried out, the control device transmits three-dimensional data, in particular data from a three-dimensional point cloud, to the object space to be scanned and the control device conducts a virtual tour through the scanning object space by means of the transmitted three-dimensional data. Usually, the mobile robot explores the environment to be recorded in a first physical tour, which is still controlled by an operator, in order to be able to orientate itself later on autonomous missions using the recorded data. During this initial physical tour, the environmental data recorded by the recording device, such as optical image information, information from depth cameras or data from inertial measurement units (IMU) are recorded in a special data format that is used later for autonomous navigation. Advantageously, such an initial tour of the mobile robot is not necessary in this embodiment of the method according to the invention, since the tour is carried out virtually by making the three-dimensional data of the object space available to the control device. This three-dimensional data corresponds to the data that would be recorded by the mobile robot's internal recording device during an initial tour. This advantageously reduces the outlay for detecting the object space. This method can also be carried out independently of the control unit of the mobile robot on a separate computer and the data then available in the special data format for autonomous navigation can be transmitted to the control device of the mobile robot.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Verfahrens werden in einem initialen Schritt vor Durchführung der Schritte (a) bis (c) dreidimensionale Daten in einer ersten Repräsentation zu dem zu scannenden Objektraum verwendet, um dreidimensionale Daten in einer zweiten Repräsentation zu erzeugen, die den Daten entsprechen, die die Steuereinrichtung des mobilen Roboters mithilfe der Erfassungseinrichtung bei einem physischen Rundgang durch den zu scannenden Objektraum erfasst und verarbeitet hätte. Die dreidimensionalen Daten in der zweiten Repräsentation werden insbesondere bei einem virtuellen Rundgang durch den zu scannenden Objektraum erzeugt, der mittels der Daten in der ersten Repräsentation durchgeführt wird. Vorteilhafterweise werden somit die dreidimensionalen Daten von der ersten Repräsentation in die zweite Repräsentationen, welche von dem mobilen Roboter verwendet werden kann, konvertiert.According to a further embodiment of the method according to the invention, in an initial step before steps (a) to (c) are carried out, three-dimensional data are used in a first representation of the object space to be scanned in order to generate three-dimensional data in a second representation which correspond to the data , which the control device of the mobile robot would have detected and processed using the detection device during a physical tour of the object space to be scanned. The three-dimensional data in the second representation are generated in particular during a virtual tour through the object space to be scanned, which is carried out using the data in the first representation. The three-dimensional data are thus advantageously converted from the first representation into the second representation, which can be used by the mobile robot.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.

1 zeigt ein Ausführungsbeispiel der mobilen Vorrichtung in einer Gehpose des Roboters und
2 zeigt das Ausführungsbeispiel der mobilen Vorrichtung in einer Aufnahmepose des Roboters.

The invention will now be explained using exemplary embodiments with reference to the drawings.

1 shows an embodiment of the mobile device in a walking pose of the robot and
2 Figure 12 shows the embodiment of the mobile device in a pick-up pose of the robot.

Bei der mobilen Vorrichtung 30 des im Folgenden beschriebenen Ausführungsbeispiels ist eine Raumerfassungsvorrichtung, wie sie in der WO 2021/018900 A1 beschrieben ist, die eine Scaneinrichtung und ein Gestell 1 umfasst, auf einem mobilen Roboter befestigt, wie er in der US 2021/0041887 A1 oder, gemäß einem anderen Ausführungsbeispiel, in der WO 2020/076418 A1 beschrieben ist.In the mobile device 30 of the embodiment described below, a spatial detection device as shown in FIG WO 2021/018900 A1 is described, which includes a scanning device and a frame 1, mounted on a mobile robot, as in the US 2021/0041887 A1 or, according to another embodiment, in the WO 2020/076418 A1 is described.

Die Scanvorrichtung umfasst dabei mehrere Kameras 32, einen ersten Mehrfachscanner 31 und einen zweiten Mehrfachscanner 32, die jeweils an dem Gestell 1 befestigt sind.In this case, the scanning device comprises a plurality of cameras 32, a first multiple scanner 31 and a second multiple scanner 32, which are each fastened to the frame 1.

Bei der in 1 gezeigten Ausrichtung des Gestells 1 in der Gehpose des mobilen Roboters 2 sind die Kameras 32 und der erste Mehrfachscanner 31 im vorderen oberen Kopfbereich des Gestells 1 angeordnet.At the in 1 shown orientation of the frame 1 in the walking pose of the mobile robot 2, the cameras 32 and the first multiple scanner 31 are arranged in the front upper head area of the frame 1.

Als erster Mehrfachscanner 31 wird ein Mehrebenen-Laserscanner der Firma Velodyne, Typ Puck LITE, verwendet. Der erster Mehrfachscanner 31 umfasst mehrere Emissionseinheiten. Diese Emissionseinheiten setzen sich aus einer Vielzahl von Lasern zusammen, welche in einem Bauteil integriert sind, und die auf diese Weise eine feste Ausrichtung zueinander haben. Die Laser der Emissionseinheiten erzeugen eine Vielzahl von Signalstrahlen in Emissionsrichtungen. Die Signalstrahlen sind so ausgerichtet, dass sie einen Emissionsfächer aufspannen, der eine Ebene definiert. Details zu Geometrie und Ausrichtung dieses Emissionsfächers werden später erläutert. Die Signalstrahlen können z. B. auf ein Objekt treffen, an deren Oberfläche sie gestreut bzw. reflektiert werden. Auf diese Weise werden Reflexionsstrahlungen erzeugt. Der rückgestreute bzw. rückreflektierte Anteil dieser Reflexionsstrahlungen wird von einem Empfänger detektiert, der in die Emissionseinheiten integriert ist.A multi-level laser scanner from Velodyne, type Puck LITE, is used as the first multiple scanner 31 . The first multiple scanner 31 includes multiple emission units. These emission units are made up of a large number of lasers, which are integrated in one component and which in this way have a fixed alignment with one another. The lasers of the emission units generate a multiplicity of signal beams in emission directions. The signal beams are aligned to form an emission fan that defines a plane. Details on the geometry and orientation of this emission fan will be explained later. The signal beams can e.g. B. hit an object on whose surface they are scattered or reflected. In this way, reflection radiation is generated. The backscattered or backreflected portion of this reflection radiation is detected by a receiver that is integrated in the emission units.

Im vorliegenden Ausführungsbeispiel umfassen die Emissionseinheiten 16 Laser, die aufeinanderfolgend Signalpulse emittieren. Beispielsweise emittieren die einzelnen Laser der Emissionseinheiten aufeinanderfolgend Signalpulse. Der zeitliche Abstand zwischen diesen Signalpulsen ergibt sich aus der Laufzeit eines Signalpulses zu einem Objekt, welches bei der maximalen Reichweite des ersten Mehrfachscanners 31 angeordnet ist, dort reflektiert wird und wieder zurück zum Empfänger gelangt. Wenn der Empfänger diesen Signalpuls detektiert hat, wird der Signalpuls des nächsten Lasers emittiert. Beispielsweise kann zwischen den Signalpulsen ein Zeitintervall von 2,3 µs liegen. In dieser Zeit kann das Licht 690 m zurücklegen, so dass auch bei einer maximalen Reichweite von 100 m ein ausreichender Zeitabstand zwischen aufeinanderfolgenden Signalpulsen liegt. Ein Signalpuls ist dabei beispielsweise 6 ns lang.In the present exemplary embodiment, the emission units 16 comprise lasers which emit signal pulses in succession. For example, the individual lasers of the emission units emit signal pulses in succession. The time interval between these signal pulses results from the propagation time of a signal pulse to an object which is arranged at the maximum range of the first multiple scanner 31, is reflected there and returns to the receiver. When the receiver has detected this signal pulse, the signal pulse of the next laser is emitted. For example, there can be a time interval of 2.3 μs between the signal pulses. In this time, the light can travel 690 m, so that even with a maximum range of 100 m, there is a sufficient time interval between successive signal pulses. A signal pulse is 6 ns long, for example.

Ferner umfasst der erste Mehrfachscanner 31 eine Abtasteinrichtung. Diese Abtasteinrichtung verändert die Emissionsrichtungen der Signalstrahlen. Dabei werden die Emissionsrichtungen der Signalstrahlen um eine Rotationsachse gedreht. Diese Rotationsachse liegt in der von dem Emissionsfächer der Signalstrahlen gebildeten Ebene. Ferner steht die Rotationsachse senkrecht auf einer Mittelachse des Emissionsfächers der Signalstrahlen. Diese Mittelachse kann dabei insbesondere eine Symmetrieachse des Emissionsfächers der Signalstrahlen sein. Von dem ersten Mehrfachscanner 31 wird auf diese Weise der Rotationskörper eines Fächers erfasst.Furthermore, the first multiple scanner 31 includes a scanning device. This scanner changes the emission directions of the signal beams. The emission directions of the signal beams are rotated around an axis of rotation. This axis of rotation lies in the plane formed by the emission fan of the signal beams. Furthermore, the axis of rotation is perpendicular to a central axis of the emission fan of the signal beams. In this case, this central axis can in particular be an axis of symmetry of the emission fan of the signal beams. In this way, the rotary body of a fan is detected by the first multiple scanner 31 .

An dem Gestell 1 ist ferner im unteren hinteren Bereich in der Gehpose ein zweiter Mehrfachscanner 36 befestigt. Es handelt sich, wie beim ersten Mehrfachscanner 31, um einen Mehrebenen-Laserscanner, welcher den gleichen Aufbau wie der erste Mehrfachscanner 31 hat. Der zweite Mehrfachscanner 36 ist jedoch anders ausgerichtet als der erste Mehrfachscanner 31.A second multiple scanner 36 is also attached to the frame 1 in the lower rear area in the walking pose. As with the first multiple scanner 31, it is a multi-level laser scanner which has the same structure as the first multiple scanner 31. However, the second multiple scanner 36 is aligned differently than the first multiple scanner 31.

Der erste Mehrfachscanner 31 ist an dem Gestell 1 so befestigt, dass die Mittelachse X1 seines Emissionsfächers einen Winkel mit der Horizontalebene einschließt, so dass er nach vorne geneigt ist. Der Emissionsfächer weist einen Öffnungswinkel auf, der in einem Bereich von 10° bis 40° liegt. Im vorliegenden Ausführungsbeispiel ist dieser Winkel 30°.The first multi-scanner 31 is fixed to the gantry 1 so that the central axis X1 of its emission fan makes an angle with the horizontal plane so that it is inclined forward. The emission fan has an opening angle that is in a range from 10° to 40°. In the present exemplary embodiment, this angle is 30°.

Der zweite Mehrfachscanner 36 ist an dem Gestell 1 so befestigt, dass seine Mittelachse X2 einen Winkel einen Winkel β von 100° mit der Mittelachse X1 des ersten Mehrfachscanners 31 einschließt. Der Öffnungswinkel des Emissionsfächers des zweiten Mehrfachscanners 36 entspricht dem Öffnungswinkel des Emissionsfächers des Mehrfachscanners 31. Die mobile Vorrichtung 30 befindet sich somit in der in 1 gezeigten Gehpose außerhalb der Emissionsfächer der Mehrfachscanner 31, 36.The second multiple scanner 36 is attached to the frame 1 in such a way that its central axis X2 encloses an angle β of 100° with the central axis X1 of the first multiple scanner 31 . The opening angle of the emission fan of the second multiple scanner 36 corresponds to the opening angle of the emission fan of the multiple scanner 31. The mobile device 30 is thus in the FIG 1 shown walking pose outside the emission compartments of the multiple scanners 31, 36.

Die Kameras 32 der mobilen Vorrichtung 30 können digitale Bilder von der Umgebung aufnehmen. Bei dem beschriebenen Ausführungsbeispiel sind Kameras der Firma FLIR mit Weitwinkelobjektiven der Firma Sunex auf einem Kreisring angeordnet. Die Kameras 32 sind auf dem Kreisring in gleichen Winkelabständen voneinander positioniert.The cameras 32 of the mobile device 30 can capture digital images of the environment. In the exemplary embodiment described, cameras from the company FLIR with wide-angle lenses from the company Sunex are arranged on a circular ring. The cameras 32 are positioned on the annulus at equal angular distances from each other.

Der Öffnungswinkel jeder Kamera 32 ist dabei kein rotationssymmetrischer Kegel. Vielmehr ist der Öffnungswinkel in verschiedenen Richtungen unterschiedlich. Bei einem Vertikalschnitt durch die mobile Vorrichtung 30 ergibt sich ein vertikaler Öffnungswinkel. Dieser ist in einem Bereich von 170° bis 210°. Im vorliegenden Ausführungsbeispiel ist dieser Öffnungswinkel größer als 180°, nämlich 195°. Der vertikale Öffnungswinkel ist dabei so ausgerichtet, dass sich die mobile Vorrichtung 30 außerhalb des Aufnahmewinkels der Kameras 32 befindet. Ferner ist der horizontale Abstand der Kamera 32 so gering wie möglich gewählt, so dass der von den Kameras 32 in unmittelbarer Umgebung der mobilen Vorrichtung 30 erfasste Bereich so groß wie möglich ist. Mittels der auf dem Kreisring angeordneten Kameras 32 kann insbesondere der Objektraum, welcher die mobile Vorrichtung 30 umgibt, vollständig erfasst werden, wobei nur die mobile Vorrichtung 30 selbst bei den Aufnahmen der Kameras 32 ausgespart ist.The opening angle of each camera 32 is not a rotationally symmetrical cone. Much more the opening angle is different in different directions. A vertical opening angle results in a vertical section through the mobile device 30 . This is in a range from 170° to 210°. In the present exemplary embodiment, this opening angle is greater than 180°, namely 195°. The vertical opening angle is aligned in such a way that the mobile device 30 is outside of the recording angle of the cameras 32 . Furthermore, the horizontal distance of the camera 32 is chosen to be as small as possible, so that the area covered by the cameras 32 in the immediate vicinity of the mobile device 30 is as large as possible. By means of the cameras 32 arranged on the circular ring, the object space which surrounds the mobile device 30 can be completely recorded, with only the mobile device 30 itself being omitted from the recordings of the cameras 32 .

Der mobile Roboter 2 umfasst einen Basiskörper 3, an dem mehrere Beine 4 bewegbar befestigt sind. Im vorliegenden Ausführungsbeispiel weist der mobile Roboter 2 zwei vordere Beine 4-1 und zwei hintere Beine 4-2 auf. Jedes Bein 4 wiederum ist gelenkig mittels eines oberen Teils 6 mit dem Basiskörper 3 verbunden, wie es in 1 gezeigt ist. Des Weiteren weist jedes Bein ein unteres Teil 7 auf, welches über ein Zwischengelenk 5 gelenkig mit dem Ende des oberen Teils 6 des jeweiligen Beins verbunden ist, welches gegenüberliegend von dem Ende angeordnet ist, welches mit dem Basisteil 3 verbunden ist. Durch diese Konstruktion kann der mobile Roboter 2 in der in 1 gezeigten Gehpose durch Bewegung der Beine bewegt werden. Er kann sich über einen unwegsamen Untergrund bewegen, indem er mit den Beinen geht.The mobile robot 2 comprises a base body 3 to which a plurality of legs 4 are movably attached. In the present exemplary embodiment, the mobile robot 2 has two front legs 4-1 and two rear legs 4-2. Each leg 4, in turn, is articulated to the base body 3 by means of an upper part 6, as shown in Fig 1 is shown. Furthermore, each leg has a lower part 7 which is articulated via an intermediate joint 5 to the end of the upper part 6 of the respective leg which is located opposite the end which is connected to the base part 3 . With this construction, the mobile robot 2 in 1 shown walking pose can be moved by moving the legs. He can move over rough terrain by walking with his legs.

Zur Steuerung der Bewegung der Beine 4 ist eine Steuervorrichtung 8 vorgesehen, welche Signale an Motoren der Beine 4 überträgt, um diese zu bewegen.In order to control the movement of the legs 4, a control device 8 is provided which transmits signals to motors of the legs 4 in order to move them.

Des Weiteren weist der mobile Roboter 2 eine Erfassungseinrichtung 9 auf, mit welcher Umgebungsdaten erfasst werden können. Beispielsweise kann die Erfassungseinrichtung 9 eine Kamera und eine entsprechende Bildverarbeitungseinrichtung umfassen. Die Erfassungseinrichtung 9 ist mit der Steuereinrichtung 8 verbunden. Auf diese Weise kann sich der mobile Roboter 2 in unwegsamem Gelände bewegen.Furthermore, the mobile robot 2 has a detection device 9 with which environmental data can be detected. For example, the detection device 9 can include a camera and a corresponding image processing device. The detection device 9 is connected to the control device 8 . In this way, the mobile robot 2 can move in rough terrain.

Der mobile Roboter 2 kann sich vollständig selbständig bewegen oder es kann ein Weg oder es können bestimmte Positionen vorgegeben werden, welche der mobile Roboter 2 abgeht.The mobile robot 2 can move completely independently, or a route or certain positions can be specified, which the mobile robot 2 walks along.

Das Gestell 1 ist mittels einem vorderen Kopplungselement 10 und einem hinteren Kopplungselement 11 auf der Oberseite des Basiskörpers 3 des mobilen Roboters 2 lösbar befestigt. Durch die Kopplung des Gestells 1 mit dem Basiskörper 3 wird die Scanvorrichtung in definierter Weise zu dem Basiskörper 3 ausgerichtet.The frame 1 is detachably attached to the upper side of the base body 3 of the mobile robot 2 by means of a front coupling element 10 and a rear coupling element 11 . The coupling of the frame 1 to the base body 3 aligns the scanning device to the base body 3 in a defined manner.

Über die Kopplungselemente 10 und 11 ist auch die Scanvorrichtung mit der Steuereinrichtung 8 des mobilen Roboters 2 verbunden. Auf diese Weise kann die Steuereinrichtung 8 die von der Scanvorrichtung erfassten Daten für die autonome Bewegung des mobilen Roboters 2 verwenden.The scanning device is also connected to the control device 8 of the mobile robot 2 via the coupling elements 10 and 11 . In this way, the control device 8 can use the data recorded by the scanning device for the autonomous movement of the mobile robot 2 .

In der in 1 gezeigten Gehpose des mobilen Roboters 2 ist eine Längsachse L des Basiskörpers 3 des mobilen Roboters 2 im Wesentlichen horizontal ausgerichtet. Bei der Bewegung des mobilen Roboters 2 verändert sich dabei die Ausrichtung der Längsachse L zwar, im Mittel ist sie jedoch im Wesentlichen horizontal ausgerichtet. In diesem Fall ist die Ausrichtung des Gestells nach vorne gekippt, wie es in 1 gezeigt ist. Durch die gekippte Stellung des Gestells 1 wird ein niedriger Schwerpunkt der von der Scanvorrichtung und dem Gestell 1 gebildeten Einheit erreicht. Die vertikale Erstreckung V1, welche der vertikale Abstand vom untersten Punkt zum obersten Punkt der Einheit ist, ist in der Gehpose nämlich relativ gering.in the in 1 shown walking pose of the mobile robot 2, a longitudinal axis L of the base body 3 of the mobile robot 2 is aligned substantially horizontally. When the mobile robot 2 moves, the alignment of the longitudinal axis L changes, but on average it is aligned essentially horizontally. In this case, the orientation of the frame is tilted forward, as shown in 1 is shown. Due to the tilted position of the frame 1, a low center of gravity of the unit formed by the scanning device and the frame 1 is achieved. Namely, the vertical extent V1, which is the vertical distance from the lowest point to the highest point of the unit, is relatively small in the walking pose.

Von der in 1 gezeigten Gehpose des mobilen Roboters 2 lässt sich dieser im Ruhezustand in die in 2 gezeigte Aufnahmepose bringen. Hierfür werden die hinteren Beine 4-2 so von der Steuereinrichtung 6 angesteuert, dass sich der Winkel zwischen dem oberen Teil 6 und dem unteren Teil 7 bei dem Zwischengelenk 5 jeweils bei dem hinteren Bein 4-2 verkleinert, wodurch der hintere Teil des Basiskörpers 3 abgesenkt wird.from the inside 1 shown walking pose of the mobile robot 2, this can be in the idle state in the 2 bring the shooting pose shown. For this purpose, the rear legs 4-2 are controlled by the control device 6 in such a way that the angle between the upper part 6 and the lower part 7 at the intermediate joint 5 is reduced at the rear leg 4-2, whereby the rear part of the base body 3 is lowered.

Bei dem hier gezeigten Ausführungsbeispiel wird ferner der Winkel zwischen dem oberen Teil 6 und dem unteren Teil 7 der beiden vorderen Beine 4-1 vergrößert, so dass der vordere Teil des Basiskörpers 3 angehoben wird.In the embodiment shown here, the angle between the upper part 6 and the lower part 7 of the two front legs 4-1 is also increased, so that the front part of the base body 3 is raised.

Insgesamt ergibt sich in der in 2 gezeigten Aufnahmepose des mobilen Roboters 2 eine Schwenkbewegung um 30° relativ zu der Ausrichtung des Basiskörpers 3 in der in 1 gezeigten Gehpose.Overall, in the in 2 shown receiving pose of the mobile robot 2 a pivoting movement of 30 ° relative to the orientation of the base body 3 in the 1 shown walking pose.

Entsprechend der Ausrichtung des Basiskörpers 3 verändert sich auch die Ausrichtung der von der Scanvorrichtung und dem Gestell 1 gebildeten Einheit, wie es in 2 gezeigt ist. Insbesondere ergibt sich eine aufrechtere Ausrichtung des Gestells 1, so dass insbesondere die Kameras 32 höher angeordnet sind als in der Gehpose. Außerdem wird die optische Achse O einer nach vorne ausgerichteten Kamera 32 nach oben geschwenkt, so dass diese einen Winkel mit der Horizontalen einschließt, der in einem Bereich von -25° bis +25° liegt. Im vorliegend beschriebenen Ausführungsbeispiel ist die optische Achse O der nach vorne ausgerichteten Kamera 32 um 10° nach unten relativ zu einer horizontalen Ebene ausgerichtet.The alignment of the unit formed by the scanning device and the frame 1 also changes according to the alignment of the base body 3, as shown in 2 is shown. In particular, the frame 1 is aligned more upright, so that in particular the cameras 32 are arranged higher than in the walking pose. In addition, the optical axis O of a front-facing camera 32 is pivoted upward so that this encloses an angle with the horizontal which is in a range from -25° to +25°. In the presently described embodiment, the optical axis O of the front-facing camera 32 is oriented 10° downward relative to a horizontal plane.

Die vertikale Erstreckung V2 der von der Scanvorrichtung und dem Gestell 1 gebildeten Einheit ist in der Aufnahmepose größer als in der Gehpose. Die von der Scanvorrichtung und dem Gestell 1 gebildete Einheit nimmt in der Aufnahmepose eine Ausrichtung an, die für eine Bewegung des mobilen Roboters 2 ungünstig wäre, da die mobile Vorrichtung 30 beim Bewegen instabil wäre, wodurch Wackelbewegungen hervorgerufen werden könnten, die zu einer Verschlechterung der Daten beim Erfassen des Objektraums führen würden. Für die Aufnahme von Kamerabildern ist die Aufnahmepose jedoch vorteilhaft.The vertical extent V2 of the unit formed by the scanning device and the frame 1 is greater in the photographing pose than in the walking pose. The unit formed by the scanning device and the frame 1 assumes, in the receiving pose, an orientation that would be unfavorable for a movement of the mobile robot 2, since the mobile device 30 would be unstable when moving, which could cause wobbling movements that could lead to a deterioration of the data would result in capturing object space. However, the recording pose is advantageous for recording camera images.

Im Folgenden wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Erfassen eines Objektraums beschrieben:

Bei dem Verfahren wird die mobile Vorrichtung 30 eingesetzt, wie sie im vorstehenden Ausführungsbeispiel beschrieben wurde.

An exemplary embodiment of the method according to the invention for detecting an object space is described below:

In the method, the mobile device 30 is used, as was described in the above exemplary embodiment.

Vor dem Erfassen des Objektraums werden in einem initialen Schritt der Steuereinrichtung 8 dreidimensionale Daten zu dem zu scannenden Objektraum übertragen, sofern solche Daten vorliegen. Bei diesen Daten kann es sich beispielsweise um Daten einer dreidimensionalen Punktwolke handeln, die zu einem früheren Zeitpunkt mit der Scaneinrichtung aufgenommen wurden. Sollten solche dreidimensionalen Daten nicht vorliegen, kann der mobile Roboter 2 sich gegebenenfalls in einem Erkundungsvorgang zunächst durch den zu erfassenden Objektraum bewegen, um Daten zu erfassen und zu speichern, die es nachfolgend dem mobilen Roboter 2 erlauben, sich in dem zu erfassenden Objektraum auf einer vorgegebenen Trajektorie zu bewegen.Before the object space is recorded, in an initial step the control device 8 transmits three-dimensional data on the object space to be scanned, provided such data are available. This data can be, for example, data from a three-dimensional point cloud that was recorded with the scanning device at an earlier point in time. If such three-dimensional data is not available, the mobile robot 2 can, if necessary, initially move through the object space to be recorded in an exploration process in order to collect and store data that subsequently allow the mobile robot 2 to move in the object space to be recorded on a move predetermined trajectory.

Anschließend werden der Steuereinrichtung 8 Daten übertragen, die angeben, auf welcher Trajektorie sich die mobile Vorrichtung 30 in dem zu erfassenden Objektraum bewegen soll und an welchen Positionen Kamerabilder aufgenommen werden sollen.Data is then transmitted to the control device 8 which indicate the trajectory on which the mobile device 30 is to move in the object space to be recorded and at which positions camera images are to be recorded.

In einem alternativen Ausführungsbeispiel bewegt sich der mobile Roboter 2 selbständig in dem Objektraum, wobei er seine Bewegungstrajektorie speichert, so dass sichergestellt werden kann, dass der gesamte gewünschte Objektraum erfasst wird.In an alternative exemplary embodiment, the mobile robot 2 moves independently in the object space, storing its movement trajectory so that it can be ensured that the entire desired object space is covered.

Anschließend wird die Erfassung des Objektraums gestartet. Die mobile Vorrichtung 30 wird zunächst durch den zu erfassenden Objektraum in der in 1 gezeigten Gehpose bewegt, wobei zumindest innerhalb eines Zeitintervalls während dieser Bewegung der erste und gegebenenfalls auch zweite Mehrfachscanner 31, 36 den Objektraum durch die Emission von Signalstrahlen und die Detektion von Reflexionsstrahlen abtastet.Then the acquisition of the object space is started. The mobile device 30 is first navigated through the object space to be captured in the in 1 shown walking pose moves, wherein at least within a time interval during this movement, the first and optionally also the second multiple scanner 31, 36 scans the object space by emitting signal beams and detecting reflected beams.

Bei einer bestimmten Position, die vorab übertragen werden kann oder die während der Bewegung im Objektraum ermittelt werden kann, wird die Bewegung der mobilen Vorrichtung 30 gestoppt und die mobile Vorrichtung 30 in einen Ruhezustand gebracht, bei welcher sie sich nicht fortbewegt. In diesem Ruhezustand wird dann der Zustand des mobilen Roboters 2 von der Gehpose in die Aufnahmepose verändert. Während sich der mobile Roboter 2 in der Aufnahmepose befindet, wird zumindest ein Kamerabild mittels jeder Kamera 32 aufgenommen.At a certain position, which can be transmitted in advance or which can be determined during the movement in the object space, the movement of the mobile device 30 is stopped and the mobile device 30 is brought into an idle state at which it does not move. In this idle state, the state of the mobile robot 2 is then changed from the walking pose to the pickup pose. At least one camera image is recorded by each camera 32 while the mobile robot 2 is in the recording pose.

Anschließend wird der mobile Roboter 2 wieder in die Gehpose gebracht, woraufhin er sich weiter durch den Objektraum bewegt.The mobile robot 2 is then brought back into the walking pose, whereupon it continues to move through the object space.

Auf diese Weise bewegt sich die mobile Vorrichtung 30 durch den Objektraum 30, so dass dieser vollständig erfasst werden kann, wobei bei einer Vielzahl von Positionen die mobile Vorrichtung 30 in den Ruhezustand und in die Aufnahmepose versetzt wird, in welcher Kamerabilder aufgenommen werden.In this manner, the mobile device 30 moves through the object space 30 so that it can be fully captured, with a variety of positions placing the mobile device 30 in the idle state and in the capture pose in which camera images are captured.

Bei der Steuerung des mobilen Roboters 2 während der Fortbewegung desselben steuert die Steuereinrichtung 8 die Beine 4 mittels der von der Erfassungseinrichtung 9 erfassten Daten und/oder mittels der von dem ersten und/oder zweiten Mehrfachscanner 31, 36 erfassten Daten so an, dass sich die mobile Vorrichtung 30 autonom durch den zu erfassenden Objektraum bewegt.When controlling the mobile robot 2 while it is moving, the control device 8 controls the legs 4 using the data recorded by the recording device 9 and/or using the data recorded by the first and/or second multiple scanner 31, 36 in such a way that the mobile device 30 moves autonomously through the object space to be detected.

BezugszeichenlisteReference List

11: Gestellframe
22: mobiler Robotermobile robot
33: Basiskörperbase body
44: BeineLegs
4-14-1: vordere Beinefront legs
4-24-2: hintere Beinerear legs
55: Zwischengelenkintermediate joint
66: oberer Teilupper part
77: unterer Teillower part
88th: Steuereinrichtungcontrol device
99: Erfassungseinrichtungdetection device
1010: vorderes Kopplungselementfront coupling element
1111: hinteres Kopplungselementrear coupling element
3030: mobile Vorrichtungmobile device
3131: erster Mehrfachscannerfirst multiple scanner
3232: Kamerascameras
3636: zweiter Mehrfachscannersecond multiple scanner

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

EP 2913796 A1 [0002]
EP 3228985 A1 [0029]
DE 102011121115 B4 [0030]
DE 102004050682 A1 [0030]
EP 2388615 A1 [0030]
US 2017/0269215 A1 [0030]
WO 2021/018900 A1 [0032, 0060, 0062, 0078]
US 2021/0041887 A1 [0070, 0078]
WO 2020/076418 A1 [0070, 0078]

Claims

Mobile device (30) for capturing an object space with: a mobile robot (2), which has a base body (3) on which a plurality of legs (4) are movably attached, and a control device (8) with which the movement of the legs (4) can be controlled in such a way that the robot ( 2) moveable in a walking pose in an environment by means of pivotal movements of the legs (4); a scanning device comprising at least one camera (32) and a first multi-scanner (31); a gantry (1) mounted on the base body (3) of the mobile robot (2) and to which the camera (32) and the first multi-scanner (31) are fixed; wherein the mobile robot (2) is designed to assume a recording pose in a resting state, in which the vertical extension (V2) of the unit formed from the frame (1) and the scanning device is greater than in the walking pose and in which the optical axis ( O) at least one camera (32) encloses an angle (α) with the horizontal which is in a range from -25° to +25°.

Device (30) after claim 1 , characterized in that a longitudinal axis (L) of the base body (3) of the mobile robot (2) is aligned essentially horizontally in the walking pose and the longitudinal axis of the base body (3) in the recording pose encloses an angle (δ) with the horizontal, which is in a range from 20° to 40°.

Device (30) after claim 1 or 2 , characterized in that the mobile robot (2) has two front legs (4-1) fixed to the front portion of the base body (3) and two rear legs (4-2) fixed to the rear portion of the base body ( 3) are fixed, wherein the control device (8) is designed to lower the vertical positions of the connections of the two front (4-1) or the two rear (4-2) legs to move the mobile robot (2) from the to bring the walking pose into the recording pose.

Device (30) according to one of the preceding claims, characterized in that the legs (4) are each articulated to the base body (3) and the legs (4) each have an intermediate joint (5) between an upper part (6) and a lower part (7) of the respective leg (4) and the vertical positions of the connections of the two front (4-1) or the two rear (4-2) legs can be lowered by the angle between the upper part (6) and the lower part (7) of the respective legs (4) at the respective intermediate joint (5) in order to bring the mobile robot (2) from the walking pose to the pick-up pose.

Device (30) according to one of the preceding claims, characterized in that the scanning device comprises a plurality of cameras (32) which are arranged spaced apart on a ring, the ring enclosing an angle with the horizontal which is in a range from -30° to +30° when the mobile robot is in the pickup pose.

Device (30) according to one of the preceding claims, characterized in that the scanning device comprises a second multiple scanner (36), wherein a scanned center plane (X1) of the first multiple scanner (31) forms an angle (β) with a scanned center plane (X2) of the second multiple scanner (36) ranging from 85° to 115°.

Device (30) according to one of the preceding claims, characterized in that the mobile robot (2) has a detection device (9) for detecting the immediate surroundings of the robot (2), the control device (8) with the detection device (9) and the first multiple scanner (31) is coupled in terms of data technology and the control device (8) is designed to further control the legs (4) of the mobile device (30) by means of the data recorded by the recording device (9) and/or the data recorded by the first multiple scanner (31) control captured data so that the mobile device (30) moves autonomously through the object space to be captured.

Method for capturing an object space by means of a mobile device (30) comprising: a mobile robot (2) having a base body (3) on which a plurality of legs (4) are movably attached, and a control device (8) with which the Movement of the legs (4) is controllable such that the robot (2) is moveable in a walking pose in an environment by means of pivotal movements of the legs (4); a scanning device comprising at least one camera (32) and a first multi-scanner (31); a gantry (1) mounted on the base body (3) of the mobile robot (2) and to which the camera (32) and the first multi-scanner (31) are fixed; wherein the mobile robot (2) is designed to take a recording pose in a resting state in which the vertical extension of the unit formed from the frame (1) and the scanning device is greater than in the walking pose and in which the optical axis of at least one camera (32) encloses an angle with the horizontal which is in a range from -25° to +25°, the following steps being carried out in the method: (a) moving the mobile device (30) through the object space to be detected in the walking pose of the mobile device (30), wherein at least within a time interval during the movement of the mobile device (30) the first multiple scanner (31) scans the object space by emitting signal beams and detecting reflected beams, (b) stopping the movement of the mobile device (30) and changing the state of the mobile robot (2) from the walking pose to the taking pose and (c) taking at least one camera image by means of the camera (32) while the mobile robot (2) is in the shooting pose is located.

procedure after claim 8 , characterized in that the mobile robot (2) has a detection device (9) for detecting the immediate surroundings of the robot (2) and the control device (8) is data-technically coupled to the detection device (9) and the first multiple scanner (31) and the control device (8) processes the data recorded by the recording device (9) and/or data recorded by the first multiple scanner (31) and the legs (4) of the mobile device (30) depending on the data recorded by the recording device (9). Data and/or the data captured by the first multiple scanner (31) controls in order to move the mobile device (30) autonomously through the object space to be captured.

procedure after claim 8 or 9 , characterized in that in an initial step before steps (a) to (c) are carried out, the control device (8) transmits three-dimensional data on the object space to be scanned and the control device (8) creates a virtual tour through the object space to be scanned by means of the transmitted three-dimensional data performs.

procedure after claim 8 or 9 , characterized in that in an initial step before performing steps (a) to (c), three-dimensional data in a first representation of the object space to be scanned are used to generate three-dimensional data in a second representation, which correspond to the data that the control device (8) of the mobile robot (2) would have recorded and processed using the recording device (9) during a physical tour of the object space to be scanned.

procedure after claim 11 , characterized in that the three-dimensional data in the second representation are generated during a virtual tour through the object space to be scanned, which is carried out using the data in the first representation.