EP3555721A1 - Method for creating an environment map for a processing unit - Google Patents

Method for creating an environment map for a processing unit

Info

Publication number
EP3555721A1
EP3555721A1 EP17825414.0A EP17825414A EP3555721A1 EP 3555721 A1 EP3555721 A1 EP 3555721A1 EP 17825414 A EP17825414 A EP 17825414A EP 3555721 A1 EP3555721 A1 EP 3555721A1
Authority
EP
European Patent Office
Prior art keywords
environment
environment map
map
processing device
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17825414.0A
Other languages
German (de)
French (fr)
Inventor
Lorenz Hillen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vorwerk and Co Interholding GmbH
Original Assignee
Vorwerk and Co Interholding GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vorwerk and Co Interholding GmbH filed Critical Vorwerk and Co Interholding GmbH
Publication of EP3555721A1 publication Critical patent/EP3555721A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Abstract

The invention relates to a method for creating an environment map (2) for a processing unit (1), which moves independently within an environment (3), wherein a detection device (4) detects environmental features (5) and/or objects (6) within the environment (3), and wherein position data of the environmental features (5) and/or objects (6) are processed by an evaluation device into an environment map (2). In order to achieve intuitive user-processing unit interaction, according to the invention, the detected environmental features (5) and/or objects (6) are processed via 3D reconstruction into a photo-realistic, three-dimensional environment card (2).

Description

Beschreibung  description
Verfahren zur Erstellung einer Umgebungskarte für ein Bearbeitungsgerät Gebiet der Technik Method of creating an environment map for a processing device Field of technology
[0001] Die Erfindung betrifft ein Verfahren zur Erstellung einer Umgebungskarte für ein sich selbsttätig innerhalb einer Umgebung fortbewegendes Bearbeitungsgerät, wobei eine Detektionseinrichtung Umgebungsmerkmale und/ oder Objekte innerhalb der Umgebung detektiert, und wobei Positionsdaten der Umgebungsmerkmale und/ oder Objekte von einer Auswerteeinrichtung zu einer Umgebungskarte verarbeitet werden. The invention relates to a method for creating an environment map for an automatically moving within an environment processing device, wherein a detection device detects environmental features and / or objects within the environment, and wherein position data of the environmental features and / or objects from an evaluation device to an environment map are processed.
Stand der Technik State of the art
[0002] Verfahren der vorgenannten Art sind im Stand der Technik bekannt. Ein beispielsweise zur Reinigung einer Bodenfläche verwendetes Bearbeitungs- gerät fährt selbsttätig nach einer vorprogrammierten Fahr- und gegebenenfalls Bearbeitungsstrategie innerhalb der Umgebung, beispielsweise innerhalb einer Wohnung oder dergleichen. In diesem Zusammenhang ist es ebenfalls bekannt, dass das Bearbeitungsgerät über eine Umgebungskarte der Wohnung, gegebenenfalls über mehrere Umgebungskarten für mehrere Räume der Wohnung, verfügt. Die Umgebungskarte ist bevorzugt in einem Datenspeicher des Bearbeitungsgerätes oder eines externen Gerätes abgelegt. In der Umgebungskarte sind Positionsdaten von Objekten, beispielsweise Hindernissen und/ oder Möbeln, Begrenzungswänden und dergleichen vermerkt. Methods of the aforementioned type are known in the art. A processing device used, for example, for cleaning a floor surface moves automatically according to a preprogrammed driving and possibly machining strategy within the environment, for example within a home or the like. In this context, it is also known that the processing device has an area map of the apartment, possibly over several environment maps for several rooms of the apartment. The environment map is preferably stored in a data memory of the processing device or an external device. Position data of objects, for example, obstacles and / or furniture, boundary walls and the like are noted in the environment map.
[0003] Zur Erstellung der Umgebungskarte ist es bekannt, das Bearbeitungs- gerät im Rahmen einer Lernfahrt durch die Umgebung fahren zu lassen. Ebenso kann die Umgebungskarte jedoch auch im Zuge einer Bearbeitungsfahrt des Bearbeitungsgerätes erstellt oder zumindest ergänzt werden. [0004] Im Stand der Technik sind unterschiedliche Detektionseinrichtungen zur Erfassung der Umgebung bekannt. Die DE 10 2008 014 912 AI offenbart beispielsweise ein Bearbeitungs gerät mit einem Rundum-Scanner. Die Detek- tion basiert auf einem optischen Triangulationsverfahren, welches Abstände zu Objekten misst. [0003] To create the environment map, it is known to let the processing device drive through the environment as part of a learning journey. Likewise, however, the environment map can also be created or at least supplemented during a processing run of the processing device. In the prior art, different detection means for detecting the environment are known. DE 10 2008 014 912 AI discloses, for example, a processing device with a wrap-around scanner. The detection is based on an optical triangulation method, which measures distances to objects.
[0005] Des Weiteren ist es im Stand der Technik auch bekannt, Umgebungskarten aus mosaikartig zusammengesetzten Bildern zu erstellen, die mittels einer an dem Bearbeitungsgerät angeordneten Kamera aufgenommen werden. Furthermore, it is also known in the art to create environment maps from mosaic-like composite images, which are recorded by means of a camera arranged on the processing device.
[0006] Der Aufbau der Umgebungskarte aus den mittels der Detektionsein- richtung aufgenommenen Daten kann beispielsweise nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgen. Dabei werden neu aufgenommene Daten der Detektionseinrichtung genutzt, um das Bearbeitungsgerät zum einen in der Umgebungskarte zu lokalisieren und zum anderen die bestehende Umgebungskarte zu erweitern oder zu ver- bessern. [0006] The structure of the environment map from the data recorded by means of the detection device can take place, for example, according to known methods of visual SLAM (Simultaneous Localization And Mapping). In this case, newly recorded data of the detection device are used in order to localize the processing device on the one hand in the environment map and on the other hand to expand or improve the existing environment map.
[0007] Obwohl mit dem bekannten Verfahren eine Umgebungskarte erstellt werden kann, ist diese für einen Nutzer teilweise schwer zu lesen. Dies liegt daran, dass die Umgebung des Bearbeitungsgerätes häufig als 2D-Gitterkarte dargestellt wird. Diese Gitterkarte ist eine sehr vereinfachte, schematische Dar- Stellung der Umgebung und ähnelt einem Grundriss von Räumen. Typischerweise enthält diese ausschließlich Informationen, welche innerhalb einer horizontalen Detektionsebene, die der Arbeitshöhe des Bearbeitungsgerätes entspricht, aufgenommen wurden, und unterscheidet auch nicht zwischen Umgebungsmerkmalen wie beispielsweise Wand-Boden-Übergängen und Objekten wie beispielsweise Möbeln. Unterfahrbare Objekte wie beispielsweise Betten, Tische oder Stühle werden typischerweise nicht in ihrer Gesamtheit in die Umgebungskarte eingetragen, sondern nur solche Bereiche, zum Beispiel Tisch- beine, welche in der Detektionsebene liegen. Insgesamt sind die bekannten Gitterkarten somit für einen Nutzer weniger intuitiv erfassbar, da diese nicht der Wahrnehmung des Menschen entsprechen. Although an environment map can be created with the known method, this is sometimes difficult for a user to read. This is because the environment of the processing device is often represented as a 2D grid map. This grid map is a very simplified, schematic representation of the environment and resembles a floor plan of rooms. Typically, this only contains information that was captured within a horizontal detection plane that corresponds to the working height of the processing device, and also does not distinguish between environmental features such as wall-floor transitions and objects such as furniture. Underride objects such as beds, tables or chairs are typically not entered in their entirety in the map, but only such areas, for example, Tisch- legs which are in the detection plane. Overall, the known lattice maps are thus less intuitive for a user, as they do not correspond to the perception of man.
Zusammenfassung der Erfindung Summary of the invention
[0008] Es ist daher Aufgabe der Erfindung, ein Verfahren zur Erstellung einer Umgebungskarte zu schaffen, bei welchem die erstellte Umgebungskarte für einen Nutzer einfacher zu lesen ist als die im Stand der Technik bekannten Umgebungskarten. It is therefore an object of the invention to provide a method for creating an environment map, in which the created environment map for a user is easier to read than the well-known in the art environment maps.
[0009] Zur Lösung der vorgenannten Aufgabe wird mit der Erfindung vorgeschlagen, dass die detektierten Umgebungsmerkmale und/ oder Objekte der Umgebung durch eine 3D-Rekonstruktion zu einer fotorealistischen dreidimensionalen Umgebungskarte verarbeitet werden. To achieve the above object is proposed with the invention that the detected environmental features and / or objects of the environment are processed by a 3D reconstruction to a photorealistic three-dimensional map of the environment.
[0010] Durch die erfindungs gemäße fotorealistische 3D-Rekonstruktion der Umgebung wird dem Nutzer des Bearbeitungsgerätes nun eine intuitive Ansicht der Umgebung angeboten, welche mehr Informationen enthält als die bis- her im Stand der Technik erstellten zweidimensionalen und oft schematisch gehaltenen Umgebungskarten. Dadurch kann sich der Nutzer leicht in der Umgebungskarte zurechtfinden, das Bearbeitungsgerät verfolgen und diesem Anweisungen für Bearbeitungsaufgaben erteilen. Mittels der 3D-Rekonstruktion erfolgt eine Rückgewinnung einer Tiefeninformation der Umgebung, welche bei der Aufnahme der Umgebungsmerkmale bzw. Objekte verloren gegangen ist. Damit wird ein Nachteil behoben, welcher bei der Detektion eines Umgebungsmerkmals bzw. eines Objektes in einer Szene der Umgebung besteht. Die erzeugte fotorealistische dreidimensionale Umgebungskarte stellt einem Nutzer des Bearbeitungsgerätes die Umgebung so dar, wie auch der Nutzer die Umge- bung unmittelbar mit seinen Augen wahrnehmen würde. Die Perspektive der dargestellten Umgebung richtet sich dabei nach der Perspektive, mit welcher die Umgebung aufgenommen wurde, d. h. gegebenenfalls nach einer Ebene, welche tiefer liegt als die üblicherweise vogelperspektivische Draufsicht des Nutzers auf Objekte innerhalb der Umgebung. Allerdings können beispiels- weise auch aus der Froschperspektive eines Bearbeitungsgerätes Übergänge zwischen Wänden und Zimmerdecken dargestellt werden. Die Detektionsein- richtung kann grundsätzlich auch ein relativ zu dem Bearbeitungsgerät verlagerbares separates Gerät sein, beispielsweise eine Kamera eines Mobiltelefons, Tablet-Computers und dergleichen. [0011] Im Sinne von Umgebungsmerkmalen sind beispielsweise Übergänge zwischen Wänden, Bodenflächen und Deckenflächen eines Raumes gemeint. Unter dem Begriff Objekt wird in erster Linie ein Hindernis verstanden, wie beispielsweise ein Möbelstück, welches eine Fortbewegungsroute für das Bearbeitungsgerät versperrt. By means of the photorealistic 3D reconstruction of the environment according to the invention, the user of the processing device is now offered an intuitive view of the environment, which contains more information than the two-dimensional and often schematically drawn environment maps created so far in the state of the art. This allows the user to easily navigate the environment map, track the processing device, and give instructions for editing tasks. By means of the 3D reconstruction, a recovery of a depth information of the environment, which has been lost in the recording of the environmental features or objects. This eliminates a disadvantage which exists in the detection of an environmental feature or an object in a scene of the environment. The generated photorealistic three-dimensional map of the surroundings presents a user of the processing device with the environment in the same way as the user would perceive the surroundings directly with his eyes. The perspective of The environment shown here depends on the perspective with which the environment was recorded, ie, if appropriate, according to a plane which is lower than the usual bird's eye view of the user on objects within the environment. However, transitions between walls and ceilings, for example, can also be represented from the frog's perspective of a processing unit. In principle, the detection device can also be a separate device which can be displaced relative to the processing device, for example a camera of a mobile telephone, tablet computer and the like. In terms of environmental features, for example, transitions between walls, floor surfaces and ceiling surfaces of a room are meant. The term object is understood primarily as an obstacle, such as a piece of furniture which obstructs a travel route for the processing device.
[0012] Es wird vorgeschlagen, dass Umgebungsmerkmale und/ oder Objekte, insbesondere Objektpunkte und/ oder Objektflächen, zeitlich aufeinanderfolgend aus voneinander abweichenden Perspektiven der Detektionseinrichtung aufgenommen werden, wobei die Umgebungskarte aus den aufeinanderfolgenden Aufnahmen rekonstruiert wird. Während einer Fortbewegung der Detektionseinrichtung werden in zeitlichen Abständen Daten aufgenommen, nämlich beispielsweise Kamerabilder oder Abstandsdaten einer Distanzmesseinrichtung. Die zeitlichen und/ oder räumlichen Abstände zwischen aufeinanderfolgenden Aufnahmen sind bekannt, besonders vorzugsweise können die Aufnahmen in regelmäßigen Abständen erfolgen, wobei die Regelmäßigkeit entweder auf eine zeitliche Komponente oder eine Distanzkomponente einer Fortbewegung der Detektionseinrichtung bezogen sein kann. Aus zwei aufeinanderfolgenden Aufnahmen lässt sich dann eine dreidimensionale Position des Umgebungsmerkmals und/ oder des Objektes in der Umgebung berechnen, wenn eine zurückgelegte Strecke der Detektionseinrichtung, insbesondere eine gefahrene Distanz des Bearbeitungsgerätes, zwischen zwei Aufnahmen, beispielsweise Kamerabildern, bekannt ist. Die räumlichen Abstände können dabei beispielsweise durch eine Odometrie-Einrichtung des Bearbeitungsgerätes berechnet werden. Eine Positionsschätzung kann nicht nur für Umgebungsmerkmale, wie beispielsweise Ecken oder sonstige Wand-Boden- oder Wand- Decken-Übergänge, durchgeführt werden, sondern auch für Flächen. Die Flächen können als Punktewolke oder Flächenprimitive, wie beispielsweise Rechtecke oder Dreiecke, repräsentiert werden. Denkbar ist ein Kartenaufbau mit Punktewolken, welche in einem Nachbearbeitungsschritt in Flächenprimitive umgewandelt werden. Dadurch kann die Datenmenge, die verarbeitet werden muss, reduziert werden. It is proposed that environmental features and / or objects, in particular object points and / or object surfaces, are recorded in chronological succession from differing perspectives of the detection device, wherein the environment map is reconstructed from the successive recordings. During a movement of the detection device, data are recorded at time intervals, namely, for example, camera images or distance data from a distance measuring device. The temporal and / or spatial distances between successive recordings are known, particularly preferably the recordings can take place at regular intervals, wherein the regularity can be related either to a temporal component or a distance component of a movement of the detection device. Two consecutive images can then be used to calculate a three-dimensional position of the environmental feature and / or the object in the environment, if a covered distance of the detection device, in particular a distance traveled by the processing device, between two recordings, for example camera images, is known. The spatial distances can be calculated for example by an odometry device of the processing unit. Position estimation can be performed not only for environmental features such as corners or other wall-floor or wall-ceiling transitions, but also for surfaces. The surfaces can be represented as a point cloud or surface primitives, such as rectangles or triangles. A map construction with point clouds is conceivable, which are converted into surface primitives in a post-processing step. This can reduce the amount of data that needs to be processed.
[0013] Die Erstellung der Umgebungskarte kann nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgen, wobei Algorithmen für die Verarbeitung von Punktewolken und/ oder Flächenprimitiven benutzt werden. Unabhängig von der Art der verwendeten Kartenrepräsentation ist den SLAM- Algorithmen gemeinsam, dass die mittels der Detektionseinrichtung aufgenommenen Daten dabei einerseits genutzt werden, um eine Umgebungskarte zu erstellen, zu erweitern oder zu verbessern, und an- derer seits um gleichzeitig das Bearbeitungs gerät innerhalb der Umgebungskarte zu lokalisieren. Neu aufgenommene Daten werden in der Regel mit Hilfe von probabilistischen Schätzverfahren oder Optimierungsverfahren mit den bereits vorhandenen Daten einer Umgebungskarte fusioniert. Insgesamt kann somit aus zeitlich und/ oder räumlich abweichenden Aufnahmen der Detek- tionseinrichtung für jedes Umgebungsmerkmal und/ oder Objekt der Umgebung eine Position in Bezug auf ein Weltkoordinatensystem berechnet werden. Insbesondere erhalten Objektpunkte und/ oder Objektflächen einen bestimmten Punkt des Weltkoordinatensystems zugewiesen. [0014] Insbesondere wird vorgeschlagen, dass die Umgebungsmerkmale und/ oder Objekte während einer Fortbewegung des Bearbeitungsgerätes, insbesondere im Rahmen einer Bodenbearbeitung, aufgenommen werden. Beispielsweise kann die Umgebungskarte während einer Reinigungsfahrt des Be- arbeitungsgerätes erstellt werden. Somit ist keine separate Detektionsfahrt des Bearbeitungsgerätes zur Aufnahme von Daten zur Erstellung der Umgebungskarte notwendig. Alternativ kann der Aufbau der Umgebungskarte auch zeitlich nach einer speziellen Detektionsfahrt erfolgen, während welcher das Bearbeitungsgerät keine Bearbeitungsaufgabe, wie beispielsweise das Saugen und/ oder Wischen einer Bodenfläche, ausführt. Eine solche Detektionsfahrt kann entweder autonom von dem Bearbeitungsgerät oder durch einen Nutzer des Bearbeitungsgerätes gesteuert werden. Des Weiteren ist es auch möglich, dass der Kartenaufbau zeitlich nach einer Bearbeitungstätigkeit des Bearbeitungsgerätes erfolgt, beispielsweise wenn sich das Bearbeitungsgerät zum La- den an einer Basisstation befindet. Nach Ende der jeweiligen Fahrt, egal ob Detektionsfahrt, Bearbeitungsfahrt oder eine Kombination dieser, hat das Bearbeitungsgerät vorzugsweise die gesamte erreichbare Umgebung kartiert und ein entsprechendes 3D-Modell berechnet, mit welchem der Nutzer interagieren kann, oder welches Ausgangspunkt für weitere Anwendungen ist. [0015] Es wird vorgeschlagen, dass die Detektionseinrichtung eine Kamera ist, welche Bilder der Umgebung aufnimmt. In einem besonders einfachen Fall kann die Detektionseinrichtung eine unidirektionale Kamera sein, welche auf dem Bearbeitungsgerät (oder auch in einem anderen mobilen Gerät) installiert ist. Alternativ können Bilder der Umgebung auch mittels eines omnidirektio- nalen Kamerasystems aufgenommen werden, d. h. mittels eines Kamerasystems mit einem deutlich größeren Sichtfeld als unidirektionale Kameras. Ein solches Kamerasystem kann beispielsweise ein Panoramakamerasystem mit einem horizontalen Gesichtsfeld von 360 Grad sein, oder ein Kamerasystem mit Fischaugenlinsen, welche in entgegengesetzte Richtungen ein Sichtfeld von 180 Grad und mehr aufweisen. Des Weiteren kann ein Stereo-Kamerasystem verwendet werden, bei welchem zwei Kameras nebeneinander angeordnet sind, oder eine Tiefenkamera, häufig als RGB-D-Kamera bezeichnet, bei welcher eine Stereoberechnung durch Projektion eines bekannten Punktemusters erfolgt. Ebenso kann auch eine zur Decke gerichtete Kamera verwendet werden. Besonders bevorzugt werden mehrere optische Systeme oder Detektionseinrich- tungen miteinander kombiniert. The creation of the environment map can be done by known methods of visual SLAM (Simultaneous Localization And Mapping), wherein algorithms are used for the processing of point clouds and / or surface primitives. Regardless of the type of map representation used, the SLAM algorithms have in common that the data recorded by means of the detection device are used, on the one hand, to create, expand or improve a map of the surroundings, and, on the other hand, to simultaneously process the processing device within the map Local map to locate. Newly recorded data are usually fused with the help of probabilistic estimation methods or optimization methods with the already existing data of an area map. Overall, therefore, a position with respect to a world coordinate system can be calculated from temporally and / or spatially deviating images of the detection device for each surrounding feature and / or object of the environment. In particular, object points and / or object surfaces are assigned a specific point of the world coordinate system. In particular, it is proposed that the environmental features and / or objects during a movement of the processing device, in particular in the context of tillage, are recorded. For example, the environment map can be created during a cleaning run of the processing device. Thus, no separate detection drive of the processing device for receiving data to create the environment map is necessary. Alternatively, the construction of the environment map can also take place in time after a special detection run, during which the processing device does not perform a processing task, such as, for example, the suction and / or wiping of a floor surface. Such a detection run can either be controlled autonomously by the processing device or by a user of the processing device. Furthermore, it is also possible that the card structure takes place temporally after a processing operation of the processing device, for example, when the processing device for loading is located at a base station. After the end of the respective journey, regardless of whether it is a detection drive, processing run or a combination thereof, the processing device has preferably mapped the entire accessible environment and computes a corresponding 3D model with which the user can interact or which starting point is for further applications. It is proposed that the detection device is a camera which takes pictures of the environment. In a particularly simple case, the detection device may be a unidirectional camera which is installed on the processing device (or else in another mobile device). Alternatively, images of the surroundings can also be recorded by means of an omnidirectional camera system, ie by means of a camera system with a significantly larger field of view than unidirectional cameras. Such a camera system may, for example, be a panoramic camera system with a horizontal field of view of 360 degrees, or a camera system with fish-eye lenses which in opposite directions have a field of view of 180 Degrees and more. Furthermore, a stereo camera system can be used, in which two cameras are arranged side by side, or a depth camera, often referred to as RGB-D camera, in which a stereo calculation is performed by projection of a known dot pattern. Likewise, a camera directed to the ceiling can also be used. Particularly preferably, a plurality of optical systems or detection devices are combined with one another.
[0016] Alternativ oder zusätzlich zu der Verwendung einer Kamera als Detek- tionseinrichtung kann auch ein Laserdistanzsensor Anwendung finden, wel- eher besonders vorzugsweise Daten nicht nur in einer Ebene erfasst, sondern durch Verschwenken in einer Vielzahl von Ebenen. Des Weiteren können auch Informationen von Bildsensoren und Abstandssensoren miteinander fusioniert werden, beispielsweise indem Daten einer Kamera und Daten einer Distanzmesseinrichtung, wie beispielsweise eines Laserentfernungsmessers, miteinan- der kombiniert werden. As an alternative or in addition to the use of a camera as a detection device, it is also possible to use a laser distance sensor which particularly preferably detects data not only in one plane but by pivoting in a multiplicity of planes. Furthermore, information from image sensors and distance sensors can also be fused together, for example by combining data from a camera and data from a distance measuring device, such as a laser range finder, for example.
[0017] Es kann vorgesehen sein, dass die detektierten Umgebungsmerkmale und/ oder Objekte zur Erstellung der Umgebungskarte in einem externen Gerät, insbesondere einem mobilen Gerät und/ oder einem Server, verarbeitet werden. Die zur Erstellung der Umgebungskarte benötigten Berechnungen können somit nicht nur von einem eigenen Onboard-Computer des Bearbeitungsgerätes durchgeführt werden, sondern alternativ auch von einem externen Server, d. h. einer Cloud, oder mittels eines Computers eines mobilen Endgerätes, wie beispielsweise eines Mobiltelefons, eines Laptops, eines Tablet- Computers oder dergleichen. Denkbar sind auch Teillösungen, bei welchen ein Teil der Berechnungen auf dem Bearbeitungsgerät selbst und ein Teil der Berechnungen auf einem externen Gerät wie einem Server ausgeführt werden. Beispielsweise kann ein SLAM- Verfahren auf der Grundlage von Punktewolken auf dem Bearbeitungsgerät durchgeführt werden, während eine Umrech- nung der Kartenrepräsentation in Flächenprimitive auf einem Server erfolgt. Im Falle einer zumindest teilweise externen Berechnung werden die detektierten Umgebungsmerkmale und/ oder Objekte bzw. daraus bereits berechnete Daten als Datenmenge über eine bevorzugt drahtlose Netzwerkverbindung an ein externes Gerät übermittelt, welches dann die Berechnungen durchführt. It can be provided that the detected environmental features and / or objects for creating the environment map are processed in an external device, in particular a mobile device and / or a server. The calculations required to create the environment map can thus be carried out not only by a separate onboard computer of the processing device, but alternatively also by an external server, ie a cloud, or by means of a computer of a mobile device, such as a mobile phone, a laptop, a tablet computer or the like. Also conceivable are partial solutions, in which part of the calculations on the processing device itself and part of the calculations are performed on an external device such as a server. For example, a SLAM method based on point clouds may be performed on the processing machine while a conversion map representation into surface primitives on a server. In the case of an at least partially external calculation, the detected environmental features and / or objects or data already calculated therefrom are transmitted as data volume via a preferably wireless network connection to an external device, which then carries out the calculations.
[0018] Es wird vorgeschlagen, dass die Umgebungskarte auf einem Display eines externen Gerätes, insbesondere eines mobilen Gerätes, dargestellt wird. Die Visualisierung der Umgebungskarte und die Nutzerinteraktion kann somit auf einem anderen Gerät als dem Bearbeitungs gerät selbst erfolgen. Insbeson- dere empfiehlt sich die Visualisierung auf dem Display eines mobilen Endgerä- tes. Beispielsweise kann die Umgebungskarte auf dem Display eines Mobiltelefons, Laptops, Tablet-Computers, Fernsehers, einer Küchenmaschine und dergleichen erfolgen. Denkbar ist jedoch auch die Darstellung der Umgebungskarte auf dem Display des Bearbeitungsgerätes in Verbindung mit entsprechen- den Bedienelementen des Bearbeitungsgerätes. Im letztgenannten Fall entfällt eine Datenübertragung über ein Netzwerk. Die Umgebungskarte kann bereits während des Kartenaufbaus dargestellt werden, und/ oder erst, wenn eine Fortbewegung des Bearbeitungsgerätes innerhalb der Umgebung beendet ist. It is proposed that the environment map is displayed on a display of an external device, in particular a mobile device. The visualization of the map and the user interaction can thus be done on a device other than the editing device itself. In particular, the visualization on the display of a mobile terminal device is recommended. For example, the environment map may be on the display of a mobile phone, laptop, tablet computer, television, a food processor, and the like. However, it is also conceivable to display the environment map on the display of the processing device in conjunction with corresponding operating elements of the processing device. In the latter case, data transmission over a network is eliminated. The environment map can already be displayed during the map construction, and / or only when a movement of the processing device is completed within the environment.
[0019] Es kann vorgesehen sein, dass zumindest ein Teilbereich der dargestell- ten Umgebungs karte und/ oder ein in der Umgebungskarte dargestelltes Objekt rotiert, vergrößert und/ oder verschoben werden kann. Damit kann ein Nutzer die Ansicht der Umgebungskarte derart verändern, dass beispielsweise eine Perspektive verändert wird, die Ansicht vergrößert und/ oder verschoben wird und ähnliches. Beispielsweise kann die Ansicht auf ein Objekt auch so variiert werden, dass die Perspektive, aus welcher das Objekt dargestellt ist, einer aktuellen Ansicht des Nutzers in die Umgebung entspricht. Alternativ kann ein Objekt innerhalb der Umgebungskarte, oder auch die gesamte dargestellte Umge- bung, so rotiert werden, dass die Ansicht einer aktuellen Fortbewegungsrichtung des Bearbeitungsgerätes entspricht. [0019] It can be provided that at least one subarea of the illustrated environment map and / or an object displayed in the environment map can be rotated, enlarged and / or moved. Thus, a user can change the view of the environment map such that, for example, a perspective is changed, the view is enlarged and / or moved and the like. For example, the view on an object can also be varied so that the perspective from which the object is displayed corresponds to a current view of the user in the environment. Alternatively, an object within the environment map, or the entire illustrated environment tion, be rotated so that the view corresponds to a current direction of movement of the processing unit.
[0020] Es kann zudem vorgesehen sein, dass ein Nutzer des Bearbeitungsgerätes einem in der Umgebungs karte vorhandenen Raum und/ oder Raumteilbe- reich und/ oder Objekt einen Namen und/ oder einen Farbcode und/ oder ein Symbol zuordnet, welche in Steuerbefehle zur Steuerung einer Fortbewegung des Bearbeitungsgerätes eingebunden werden können. Dadurch wird es dem Nutzer des Bearbeitungsgerätes erleichtert, sich in der Umgebungskarte zurechtzufinden. Beispielsweise können Räume einer Wohnung durch Zuweisung von Farben und/ oder Namen gekennzeichnet werden, beispielsweise mit dem Namen„Küche" und einer roten Einfärbung. Alternativ zu einzelnen Räumen können auch nur einzelne Bereiche eines Raumes in gleicher Art und Weise benannt werden, beispielsweise mit dem Namen„Hundeecke" und der Farbe braun. Es können des Weiteren bestimmte Objekte durch Zuweisen eines Na- mens markiert werden, beispielsweise mit dem Namen„Sofa",„Bett" usw.[0020] It can also be provided that a user of the processing device assigns a name and / or a color code and / or a symbol to a space and / or spatial sub-area and / or object present in the environment map, which is used to control commands a movement of the processing unit can be integrated. This makes it easier for the user of the processing device to find his way around the area map. For example, rooms in an apartment can be identified by the assignment of colors and / or names, for example, the name "kitchen" and a red coloration.As an alternative to individual rooms, only individual areas of a room can be named in the same way, for example with the Name "dog corner" and the color brown. Furthermore, certain objects can be marked by assigning a name, for example with the name "sofa", "bed" etc.
Darüber hinaus kann die aktuelle Position des Bearbeitungsgerätes in der Umgebungskarte dargestellt werden. Dies kann auf einfache Art und Weise geschehen, beispielsweise indem ein Symbol wie ein Punkt oder ein Fähnchen zur Repräsentation des Bearbeitungsgerätes dargestellt wird. Aufwendigere Dar- Stellungen zeigen ein 3D-Modell des Bearbeitungsgerätes in der Umgebungskarte. Aufbauend auf den Namen und/ oder Farbcodes und/ oder Symbolen können Funktionen zur Interaktion mit dem Bearbeitungsgerät implementiert werden. Beispielsweise kann ein zugeordneter Name und/ oder ein zugeordneter Farbcode für das Anwählen eines Startpunktes oder einer Position, die das Bearbeitungsgerät in der Umgebung anfahren soll, genannt werden. Beispielsweise kann eine Position einer Basisstation innerhalb der Umgebungskarte gewählt werden, um das Bearbeitungsgerät dort für einen Ladevorgang eines Akkumulators hinzuschicken. Es können definierte Räume oder definierte Bereiche, die das Bearbeitungsgerät ansteuern soll, ausgewählt werden, beispiels- weise durch Befehle wie„Reinige das Wohnzimmer" oder„Reinige die Hundeecke". Des Weiteren können auch Bereiche, die nicht mit einem Namen oder Farbcode verknüpft sind, durch Markieren ausgewählt werden, beispielsweise für eine Spotreinigung. Ebenso ist es möglich, Bereiche oder Räume innerhalb der Umgebungskarte auszuwählen, die nicht bearbeitet und nicht befahren werden sollen, nicht bearbeitet werden sollen aber befahren werden dürfen, oder besonders intensiv oder mit bestimmten Bearbeitungsparametern bearbeitet werden sollen. In addition, the current position of the processing unit can be displayed in the area map. This can be done in a simple manner, for example by a symbol such as a dot or a flag for representing the processing device is displayed. More elaborate representations show a 3D model of the processing device in the environment map. Based on the name and / or color codes and / or symbols, functions for interacting with the processing device may be implemented. For example, an assigned name and / or an associated color code may be mentioned for selecting a starting point or a position which the processing device should approach in the environment. For example, a position of a base station within the environment map may be selected to send the processing device there for a recharge of an accumulator. Defined spaces or defined areas to be controlled by the processing device can be selected, for example by instructions such as "clean the living room" or "clean the dog corner". Furthermore, areas that are not associated with a name or color code can also be selected by marking, for example for spot cleaning. It is also possible to select areas or rooms within the area map that are not to be edited or driven on, but are not to be processed but may be driven on, or are to be processed particularly intensively or with specific processing parameters.
[0021] Sollte das Bearbeitungs gerät zur Navigation eine andere Umgebungs- karte nutzen als dem Nutzer zur Benutzerinteraktion auf dem Display dargestellt wird, so ist sicherzustellen, dass zum Beispiel eine Position, die der Nutzer in der angezeigten Umgebungskarte auswählt, korrekt in die von dem Bearbeitungsgerät verwendete Karte umgerechnet wird. Eine solche Umrechnung wird beispielsweise notwendig, wenn die Umgebungskarte, die dem Nutzer dargestellt wird, stark nachbearbeitet wurde, beispielsweise durch eine Umrechnung von Punktewolken in Flächenprimitive, Ausreißer-Eliminierung, d. h. Entfernen fehlerbehafteter Mess werte/ Hindernispunkte, oder Anpassung von geraden Segmenten an eine Punktewolke. If the processing device for navigation uses a different environment map than is displayed to the user for user interaction on the display, then it must be ensured that, for example, a position which the user selects in the displayed environment map correctly corresponds to that of the user Used in the processing device. Such conversion becomes necessary, for example, when the environment map presented to the user has been heavily reworked, for example, by converting point clouds into surface primitives, outlier elimination, d. H. Removal of erroneous measured values / obstacle points, or adaptation of straight segments to a point cloud.
[0022] Es kann vorgesehen sein, dass ein Objekt innerhalb der Umgebungskar- te segmentiert wird und aus der Umgebungskarte extrahiert wird, wobei das extrahierte Objekt und/ oder die um das extrahierte Objekt reduzierte Umgebungskarte in ein Datenverarbeitungsprogramm importiert und von diesem weiterverarbeitet wird. Ausgehend von der 3D-Umgebungskarte lassen sich somit einzelne Objekte der Umgebung, beispielsweise einzelne Möbelstücke, segmentieren und extrahieren. Die Segmentierung kann beispielsweise darauf beruhen, dass zusätzlich eine Bodenfläche, eine Decke und/ oder Wände detek- tiert werden, beispielsweise ein Boden als waagerechte Fläche ohne Elevation, eine Wand als raumhohe vertikale Fläche und dergleichen. Nachfolgend wird das Objekt aus der 3D-Umgebungskarte herausgerechnet, also entfernt. Bei den übrig gebliebenen Strukturen im 3D-Modell handelt es sich dann mit großer Wahrscheinlichkeit ausschließlich um Objekte innerhalb der Umgebung, welche sich beispielsweise als Möbelstücke identifizieren lassen, indem man nach einer Ebene parallel zu einer Bodenfläche in geeigneter Höhe sucht, beispielsweise mit einem Abstand von ca. 80 cm bis 120 cm. Somit lassen sich Objekte wie Tische, Stühle, Schränke, Regale und viele weitere Möbelstücke identifizieren. Die segmentierten Objekte kann der Nutzer dann beispielsweise in ein anderes 3D-Modellierungsprogramm zur Weiterverarbeitung importieren. Bei- spielsweise können Möbelstücke aus der Umgebungskarte entfernt werden, um einen Grundriss eines Raumes oder einer Wohnung ohne Möbelstücke zu erhalten. Dieser Grundriss kann beispielsweise genutzt werden, um den Raum vermessen zu können, um ein anderes Möbelstück aus einer Möbeldatenbank in das 3D-Modell zu integrieren, um eine Einrichtung der Wohnung oder des Raumes zu ändern, um zu sehen wie andere Anordnungen von Möbelstücken aussehen würden, und dergleichen. Der Nutzer kann das errechnete 3D-Modell der Umgebung in ein Netzwerk hochladen und mit anderen Nutzern teilen. Dies kann im Rahmen geeigneter Plattformen erfolgen, beispielsweise Social Media Plattformen wie Facebook, spezielle Einrichtungsportale und derglei- chen. Alternativ kann das Bearbeitungsgerät auch ein bereits berechnetes SD- Modell als Referenz abspeichern, gegebenenfalls unter Zuhilfenahme eines externen Gerätes, Servers oder dergleichen. Zur Erkennung von Veränderungen der Umgebung, beispielsweise während einer Patrouillenfahrt des Bearbeitungsgerätes, kann das Bearbeitungsgerät sein aktuelles Detektionsergebnis mit dem Referenzmodell vergleichen. Werden dabei unplausible Veränderungen oder sich fortbewegende Objekte erkannt, so kann das Bearbeitungsgerät einen Alarm ausgeben, zum Beispiel indem der Nutzer eine Mitteilung auf ein mobiles Endgerät erhält. [0023] Schließlich wird vorgeschlagen, dass eine aktuelle Position des Bearbeitungsgerätes in der Umgebungskarte angezeigt wird. Dadurch erhält der Nutzer beispielsweise auch dann eine Information über die aktuelle Position des Bearbeitungsgerätes innerhalb der Umgebung, wenn er das Bearbeitungsgerät nicht selbst wahrnehmen kann, weil sich dieses beispielsweise in einem anderen Raum befindet als der Nutzer selbst. [0022] It can be provided that an object is segmented within the environment map and extracted from the environment map, with the extracted object and / or the environment map reduced by the extracted object being imported into a data processing program and further processed by the latter. Starting from the 3D environment map, individual objects of the environment, for example individual pieces of furniture, can be segmented and extracted. The segmentation may, for example, be based on additionally detecting a floor surface, a ceiling and / or walls, for example a floor as a horizontal surface without elevation, a wall as a floor-level vertical surface and the like. Below is the object out of the 3D environment map, ie removed. The remaining structures in the 3D model are then most likely exclusively objects within the environment, which can be identified, for example, as pieces of furniture by looking for a plane parallel to a floor surface at a suitable height, for example at a distance of about 80 cm to 120 cm. Thus, objects such as tables, chairs, cabinets, shelves and many other pieces of furniture can be identified. For example, the user can then import the segmented objects into another 3D modeling program for further processing. For example, pieces of furniture may be removed from the area map to obtain a floor plan of a room or apartment without furniture. For example, this floor plan can be used to survey the room to integrate another piece of furniture from a furniture database into the 3D model, to change a home or room interior to see what other arrangements of furniture would look like , and the same. The user can upload the calculated 3D model of the environment into a network and share it with other users. This can be done within the framework of suitable platforms, for example social media platforms such as Facebook, special furnishing portals and the like. Alternatively, the processing device can also store an already calculated SD model as a reference, optionally with the aid of an external device, server or the like. To detect changes in the environment, for example during a patrol of the processing device, the processing device can compare its current detection result with the reference model. If implausible changes or moving objects are detected, the processing device can issue an alarm, for example by the user receiving a message on a mobile terminal. Finally, it is proposed that a current position of the processing device is displayed in the area map. As a result, the user receives, for example, information about the current position of the processing device within the environment, if he can not perceive the processing device itself, because this is for example in a different room than the user himself.
Kurze Beschreibung der Zeichnungen Brief description of the drawings
[0024] Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Es zeigen: In the following the invention will be explained in more detail with reference to embodiments. Show it:
Fig. 1 ein Bearbeitungsgerät in einer perspektivischen Ansicht von außen, 1 is a processing device in a perspective view from the outside,
Fig. 2 eine Umgebung, in welcher ein Bearbeitungsgerät entlang einer Fig. 2 shows an environment in which a processing device along a
Fortbewegungsroute verfährt,  Locomotion route,
Fig. 3 ein Bearbeitungsgerät während einer Vermessung der Umgebung, 3 shows a processing device during a survey of the environment,
Fig. 4 eine fotorealistische dreidimensionale Umgebungskarte. Beschreibung der Ausführungsformen Fig. 4 is a photo-realistic three-dimensional map of the environment. Description of the embodiments
[0025] Figur 1 zeigt ein sich selbsttätig fortbewegendes Bearbeitungsgerät 1, welches hier als Saugroboter ausgebildet ist. Das Bearbeitungsgerät 1 verfügt über eine Detektionseinrichtung 4, welche innerhalb des Gehäuses des Bearbeitungsgerätes 1 angeordnet ist. Die Detektionseinrichtung 4 ist hier ein Kamerachip, beispielsweise ein CMOS- oder CCD-Chip, welcher ein Bild einer Umgebung 3 über in dem Gehäuse des Bearbeitungsgerätes 1 ebenfalls angeordnete Spiegel empfängt. Die Detektionseinrichtung 4 ist rotationsbeweglich, hier beispielsweise um 360 Grad, innerhalb des Gehäuses angeordnet, so dass Bilder der Umgebung rundum das Bearbeitungs gerät 1 herum aufgenommen werden können. Alternativ zu der Ausbildung der Detektionseinrichtung 4 als Kamera kann die Detektionseinrichtung 4 auch als optische Triangulationsmesseinrichtung oder dergleichen ausgebildet sein. Figure 1 shows a self-propelled moving tool 1, which is designed here as a vacuum robot. The processing device 1 has a detection device 4, which is arranged within the housing of the processing device 1. The detection device 4 is here a camera chip, for example a CMOS or CCD chip, which has an image of an environment 3 in the housing of the processing device 1 also arranged Mirror receives. The detection device 4 is rotatably movable, here for example by 360 degrees, disposed within the housing, so that images of the environment around the processing device 1 around can be recorded. As an alternative to the embodiment of the detection device 4 as a camera, the detection device 4 can also be designed as an optical triangulation measuring device or the like.
[0026] Das Bearbeitungsgerät 1 ist über Verfahrräder (nicht dargestellt) über eine zu reinigende Fläche verfahrbar. Des Weiteren weist das Bearbeitungsgerät 1 unterseitig, der zu reinigenden Fläche zugewandt, elektromotorisch ange- triebene Bürsten (ebenfalls nicht dargestellt) auf. Des Weiteren weist das Bearbeitungsgerät 1 im Bereich der Bürsten eine nicht weiter dargestellte Saugmundöffnung auf, über welche mittels einer Motor-Gebläse-Einheit mit Sauggut beaufschlagte Luft in das Bearbeitungsgerät 1 eingesaugt werden kann. Für die Elek- troversorgung der einzelnen Elektrokomponenten, beispielsweise für den An- trieb der Verfahrräder und der Bürsten und darüber hinaus weiter vorgesehener Elektronik, weist das Bearbeitungsgerät 1 einen wieder aufladbaren Akkumulator auf. The processing unit 1 is (not shown) via traversing wheels movable over a surface to be cleaned. Furthermore, the processing device 1 has on its underside, facing the surface to be cleaned, electric motor-driven brushes (also not shown). Furthermore, in the region of the brushes, the processing device 1 has a suction mouth opening (not shown), via which air, which is acted upon by a motor-blower unit with suction material, can be sucked into the processing device 1. For the electrical supply of the individual electrical components, for example for the drive of the traversing wheels and the brushes and furthermore provided electronics, the processing device 1 has a rechargeable accumulator.
[0027] Die von der Detektionseinrichtung 4 aufgenommenen Bilder der Umgebung 3 können zu einer Umgebungskarte 2 kombiniert werden, wobei der Kartenaufbau nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgt. The images taken by the detection device 4 of the environment 3 can be combined to form a map of the environment 2, wherein the card structure according to known methods of visual SLAM (Simultaneous Localization And Mapping) takes place.
[0028] Figur 2 zeigt eine Umgebung 3 des Bearbeitungsgerätes 1, welche hier ein Teilbereich einer Wohnung ist, innerhalb welcher das Bearbeitungsgerät 1 selbsttätig verfahren kann. Die Umgebung 3 wird von dem Bearbeitungsgerät 1 entlang einer Fortbewegungsroute 9 durchfahren, wobei die Fortbewegungsroute 9 in äquidistanten Abständen eine Vielzahl von Messorten 10 aufweist, an welchen eine Aufnahme von Umgebungsmerkmalen 5 und/ oder Objekten 6 der Umgebung 3 mittels der Detektionseinrichtung 4 erfolgt. Eine Schätzung einer Fahrdistanz d zwischen zwei Messorten 10 der Fortbewegungsroute 9 kann mittels Odometrie erfolgen, so dass stets auch auf die aktuelle Position des Bearbeitungsgerätes 1 innerhalb der Umgebung 3 geschlossen werden kann. Während der Fortbewegung des Bearbeitungsgerätes 1 werden in den dargestellten Abständen Bilder der Umgebung 3 aufgenommen. Aus jeweils zwei aufeinanderfolgenden Bildern werden dann Objektpunkte A, B, bzw. Objekte 6 und/ oder Umgebungsmerkmale 5 mit Koordinaten eines Weltkoordinatensystems versehen. [0029] Figur 3 zeigt eine Detektion von Umgebungsmerkmalen 5 am Beispiel eines Wand-Decken-Übergangs, welcher einen Objektpunkt A aufweist, und am Beispiel eines bodennahen Objektes 6, welches einen Objektpunkt B aufweist. Die Positionen der Objektpunkte A und B innerhalb eines Weltkoordinatensystems können berechnet werden, indem zunächst an zwei aufeinanderfolgenden Messorten 10 ein Kamerabild aufgenommen wird. Eine Positionsschätzung für die Messorte 10 ist über ein Lokalisations verfahren in einer bereits aufgebauten Umgebungskarte 2 möglich. Ein solches Verfahren wird ohnehin zur Navigation des Bearbeitungsgerätes 1 innerhalb der Umgebung 3 benötigt. Eine Schätzung für die von dem Bearbeitungsgerät 1 zurückgelegte Strecke zwischen zwei aufei- nanderfolgenden Messorten 10 wird mittels Odometrie oder Vektorsubtraktion zwischen den aufeinanderfolgenden Messorten 10 entlang der Fortbewegungsroute 9 berechnet. Aus dem Abstand der Messorte 10, einem jeweiligen Detekti- onsausgangspunkt Ci, C2 der Detektionseinrichtung 4 sowie zwei Winkeln αι und a2 für den Objektpunkt A und zwei Winkeln ßi und ß2 für den Objekt- punkt B können die Objektpunkte A, B in Bezug auf die aktuelle Position der Detektionseinrichtung 4 korrespondierend zu den jeweiligen Messorten 10 berechnet werden. Da die Position der Detektionseinrichtung 4 auf dem Bearbeitungsgerät 1 bekannt ist, können die Positionsschätzungen der Objektpunkte A und B in Bezug auf die Messorte 10 und somit das Weltkoordinatensystem durchgeführt werden. Figure 2 shows an environment 3 of the processing device 1, which is here a portion of a dwelling, within which the processing device 1 can move automatically. The environment 3 is traversed by the processing device 1 along a travel route 9, wherein the travel route 9 has at equidistant intervals a multiplicity of measurement locations 10, at which a recording of environmental features 5 and / or objects 6 the environment 3 takes place by means of the detection device 4. An estimation of a travel distance d between two measurement locations 10 of the travel route 9 can take place by means of odometry, so that it is always possible to infer the current position of the processing device 1 within the environment 3. During the movement of the processing unit 1 images of the environment 3 are recorded in the distances shown. From in each case two successive images, object points A, B, or objects 6 and / or environmental features 5 are then provided with coordinates of a world coordinate system. Figure 3 shows a detection of environmental features 5 using the example of a wall-ceiling transition, which has an object point A, and the example of a ground-level object 6, which has an object point B. The positions of the object points A and B within a world coordinate system can be calculated by first taking a camera image at two consecutive measurement locations 10. A position estimate for the measurement locations 10 is possible via a localization method in an already constructed environment map 2. Such a method is needed anyway for the navigation of the processing device 1 within the environment 3. An estimate for the distance traveled by the processing device 1 between two successive measurement locations 10 is calculated by means of odometry or vector subtraction between the consecutive measurement locations 10 along the travel route 9. From the distance of the measuring locations 10, a respective detection starting point Ci, C 2 of the detection device 4 as well as two angles αι and a 2 for the object point A and two angles βi and β 2 for the object point B, the object points A, B in Reference to the current position of the detection device 4 corresponding to the respective measurement locations 10 are calculated. Since the position of the detection device 4 on the processing device 1 is known, the position estimates of the object points A and B with respect to the measurement locations 10 and thus the world coordinate system.
[0030] Auf diese Art und Weise kann eine große Vielzahl von Objektpunkten A, B berechnet werden, so dass sich eine Punktewolke ergibt. Diese Punkte- wölke kann dann in eine dreidimensionale Darstellung der Umgebung 3, die aus Flächenprimitiven, beispielsweise Rechtecken und Dreiecken, besteht, umgerechnet werden. In this way, a large number of object points A, B can be calculated so that a point cloud results. This point cloud can then be converted into a three-dimensional representation of the environment 3, which consists of surface primitives, such as rectangles and triangles.
[0031] Die Berechnungen zur Erstellung der Umgebungskarte 2 können grundsätzlich innerhalb des Bearbeitungsgerätes 1, mittels eines Onboard-Com- puters, durchgeführt werden. In dem gezeigten Ausführungsbeispiel werden die von der Detektionseinrichtung 4 aufgenommenen Bilddaten jedoch per drahtloser Kommunikation an ein externes Gerät 8, hier ein Laptop, übermittelt. Auf dem Laptop werden sowohl das SLAM- Verfahren auf der Grundlage von Punktewolken als auch die Umrechnung der Punktewolken in Flächenprimi- tive, aus welchen schließlich die fotorealistische dreidimensionale Umgebungskarte 2 aufgebaut ist, durchgeführt. The calculations for creating the environment map 2 can in principle be carried out within the processing device 1, by means of an on-board computer. In the exemplary embodiment shown, however, the image data recorded by the detection device 4 are transmitted by wireless communication to an external device 8, here a laptop. On the laptop, both the SLAM method based on point clouds and the conversion of the point clouds into the surface primitive from which the photorealistic three-dimensional environment map 2 is finally constructed are carried out.
[0032] Gemäß Figur 3 weist das externe Gerät 8, nämlich das Laptop, ein Display 7 auf, auf welchem die erstellte Umgebungskarte 2 angezeigt wird. In der Umgebungskarte 2 ist zum einen das Bearbeitungsgerät 1 selbst dargestellt, als auch Objekte 6, nämlich hier Möbelstücke, welche innerhalb der Umgebung 3 vorhanden sind. Die Anzeige der Umgebungskarte 2 auf dem Display 7 des Gerätes 8 kann noch während einer Fortbewegung des Bearbeitungsgerätes 1 durch die Umgebung 3 erfolgen. Nach Ende der Fortbewegung des Bearbeitungsgerätes 1 ist dann die gesamte entlang der Fortbewegungsroute 9 durch- fahrene Umgebung 3 kartiert und ein entsprechendes 3D-Modell berechnet, mit welchem der Nutzer interagieren kann und welches Ausgangspunkt für weitere Anwendungen sein kann. Die dargestellte fotorealistische Umgebungskarte 2 ermöglicht dem Nutzer des Bearbeitungsgerätes 1 eine intuitive Orientierung innerhalb der Umgebungskarte 2, so dass sich der Nutzer besonders leicht in der Umgebungskarte 2 zurechtfinden, das Bearbeitungsgerät 1 verfolgen und diesem Anweisungen geben kann. [0033] Figur 4 zeigt eine Umgebungskarte 2 eines Raumes, welche anhand von unterschiedlichen Perspektiven des Bearbeitungsgerätes 1 erstellt wurde. Diese Umgebungskarte 2 ist eine fotorealistische dreidimensionale Darstellung der Umgebung 3, welche eine Vielzahl von Objekten 6 und auch eine aktuelle Position des Bearbeitungsgerätes 1 zeigt. Da das Bearbeitungsgerät 1 teilweise eine geringere Höhe als die Objekte 6, d. h. hier Möbelstücke, aufweist, beinhaltet die Umgebungskarte 2 eine Froschperspektive auf die Umgebung. According to Figure 3, the external device 8, namely the laptop, a display 7, on which the created environment map 2 is displayed. In the environment map 2, on the one hand, the processing device 1 itself is shown, as well as objects 6, namely here pieces of furniture, which are present within the environment 3. The display of the environment map 2 on the display 7 of the device 8 can still be done during a movement of the processing unit 1 through the environment 3. After the end of the movement of the processing device 1, the entire environment 3 traveled along the travel route 9 is then mapped and a corresponding 3D model is calculated, with which the user can interact and which starting point can be for further applications. The illustrated photo-realistic map of the area 2 allows the user of the processing device 1 an intuitive orientation within the map 2, so that the user can easily find their way around the map 2, track the processing unit 1 and can give instructions. FIG. 4 shows an environment map 2 of a room, which was created on the basis of different perspectives of the processing device 1. This environment map 2 is a photorealistic three-dimensional representation of the environment 3, which shows a plurality of objects 6 and also a current position of the processing device 1. Since the processing device 1 partially has a lower height than the objects 6, that is to say pieces of furniture, the environment map 2 contains a frog's perspective on the surroundings.
[0034] Die in der Umgebungskarte 2 dargestellten Objekte 6 können mit Namen und/ oder Farbcodes versehen werden. Beispielsweise können hier Bereiche des dargestellten Raumes mit„Hundeecke" oder dergleichen benannt wer- den. Des Weiteren können entsprechende Farben zugeordnet werden, beispielsweise die Farbe„Braun" für die Hundeecke. Die Umgebungskarte 2 kann auf dem Display 7 des Gerätes 8 gedreht, vergrößert oder verschoben werden, so dass die Umgebungskarte 2 so orientiert ist, wie der Nutzer den jeweiligen Raum sieht, wenn er diesen betritt. Auch kann die aktuelle Position des Bear- beitungsgerätes 1 alternativ zu dem dargestellten 3D-Modell als Punkt, Fähnchen oder dergleichen in die Umgebungskarte 2 integriert werden. The objects 6 shown in the environment map 2 can be provided with names and / or color codes. For example, areas of the room shown here can be named "dog corner" or the like, and appropriate colors can also be assigned, for example, the color "brown" for the dog corner. The environment map 2 can be rotated, enlarged or moved on the display 7 of the device 8, so that the environment map 2 is oriented as the user sees the respective room when he enters it. Also, the current position of the processing unit 1 can be integrated as an alternative to the illustrated 3D model as a point, flags or the like in the map 2.
[0035] Aufbauend auf den vorgenannten Funktionen zur Erstellung der Umgebungskarte 2 können auch weitere Funktionen zur Interaktion mit dem Bearbeitungsgerät 1 implementiert werden. Beispielsweise können Orte innerhalb des dargestellten Raumes ausgewählt werden, welche das Bearbeitungs gerät 1 gezielt anfahren soll. Zum Beispiel kann ein Befehl wie„Reinige die Hundeecke" erfolgen. [0036] Ausgehend von der dargestellten 3D-Umgebungskarte 2 lassen sich einzelne Objekte 6, beispielsweise Möbelstücke, segmentieren und aus der Umgebungskarte 2 extrahieren. Die Segmentierung und Extrahierung kann beispielsweise darauf beruhen, dass zunächst Wände und Bodenflächen als waa- gerechte bzw. vertikale Flächen erkannt und aus dem 3D-Modell der Umgebung 3 herausgerechnet werden. Bei den übriggebliebenen Strukturen des SD- Modells handelt es sich dann mit großer Wahrscheinlichkeit um Objekte 6 wie Möbelstücke. Die Art der Objekte 6 lässt sich identifizieren, indem beispielsweise nach Ebenen parallel zu der Bodenfläche in ca. 80 cm bis 120 cm Abstand gesucht wird. Ähnlich lassen sich auch Suchkriterien für bestimmte Merkmale von Stühlen, Schränken, Regalen und dergleichen anwenden. Die segmentierten Objekte 6 kann der Nutzer dann in ein anderes SD-Modellierungsprogramm zur Weiterverarbeitung importieren, beispielsweise in ein Programm zur Variation einer Inneneinrichtung oder dergleichen, um zu sehen, wie eine andere Anordnung von Möbelstücken in einem Raum aussehen würde. Der Nutzer kann das errechnete 3D-Modell der Umgebung 3 des Weiteren mit anderen Nutzern teilen, indem er dieses auf einem allgemein zugänglichen Server einer Social Media Plattform hochlädt. Based on the aforementioned functions for creating the environment map 2 and other functions for interacting with the processing device 1 can be implemented. For example, places within the space shown can be selected, which is the processing device 1 targeted approach. For example, a command such as "clean the dog corner" can be made. Starting from the illustrated 3D environment map 2, individual objects 6, for example pieces of furniture, can be segmented and extracted from the environment map 2. For example, the segmentation and extraction may be based on first recognizing walls and floor surfaces as horizontal or vertical surfaces and calculating them out of the 3D model of environment 3. The remaining structures of the SD model are then most likely objects 6 like pieces of furniture. The type of objects 6 can be identified, for example, by looking for planes parallel to the floor surface in about 80 cm to 120 cm distance. Similarly, search criteria can be applied to certain features of chairs, cabinets, shelves and the like. The segmented objects 6 may then be imported by the user into another SD modeling program for further processing, such as an interior variation program or the like, to see what a different arrangement of pieces of furniture would look like in a room. The user may further share the calculated 3D model of environment 3 with other users by uploading it to a publicly accessible server of a social media platform.
Liste der Bezugszeichen List of reference numbers
1 Bearbeitungsgerät 1 processing unit
2 Umgebungskarte  2 area map
3 Umgebung  3 environment
4 Detektionseinrichtung 4 detection device
5 Umgebungsmerkmal5 environmental feature
6 Objekt 6 object
7 Display  7 display
8 Gerät  8 device
9 Fortbewegungsroute 9 travel route
10 Messort 10 measuring location
A Objektpunkt A object point
B Objektpunkt  B object point
Ci Detektionsausgangspunkt Ci detection starting point
C2 Detektionsausgangspunkt d Fahrdistanz C 2 detection starting point traveling distance d
αι Winkel αι angle
Gi2 Winkel  Gi2 angle
ßi Winkel ßi angle
ß2 Winkel ß 2 angles

Claims

Ansprüche  claims
Verfahren zur Erstellung einer Umgebungskarte (2) für ein sich selbsttätig innerhalb einer Umgebung (3) fortbewegendes Bearbeitungsgerät (1), wobei eine Detektionseinrichtung (4) Umgebungsmerkmale (5) und/ oder Objekte (6) innerhalb der Umgebung (3) detektiert, und wobei Positionsdaten der Umgebungsmerkmale (5) und/ oder Objekte (6) von einer Auswerteeinrichtung zu einer Umgebungskarte (2) verarbeitet werden, dadurch gekennzeichnet, dass die detektierten Umgebungsmerkmale (5) und/ oder Objekte (6) durch eine 3D-Rekonstruktion zu einer fotorealistischen dreidimensionalen Umgebungskarte (2) verarbeitet werden. Method for creating an environment map (2) for a processing device (1) that moves automatically within an environment (3), wherein a detection device (4) detects environmental features (5) and / or objects (6) within the environment (3), and wherein position data of the environmental features (5) and / or objects (6) are processed by an evaluation device to an environment map (2), characterized in that the detected environmental features (5) and / or objects (6) by a 3D reconstruction to a photorealistic three-dimensional map of the environment (2).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Umgebungsmerkmale (5) und/ oder Objekte (6), insbesondere Objektpunkte (A, B) und/ oder Objektflächen, zeitlich aufeinanderfolgend aus voneinander abweichenden Perspektiven der Detektionseinrichtung (4) aufgenommen werden, wobei die Umgebungskarte Method according to Claim 1, characterized in that environmental features (5) and / or objects (6), in particular object points (A, B) and / or object surfaces, are recorded temporally successively from differing perspectives of the detection device (4), the environment map
(2) aus den aufeinanderfolgenden Aufnahmen rekonstruiert wird. (2) is reconstructed from the successive recordings.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die3. The method according to claim 1 or 2, characterized in that the
Umgebungsmerkmale (5) und/ oder Objekte (6) während einer Fortbewegung des Bearbeitungsgerätes (1), insbesondere im Rahmen einer Bodenbearbeitung, aufgenommen werden. Environmental features (5) and / or objects (6) during a movement of the processing unit (1), in particular in the context of tillage, are recorded.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Detektionseinrichtung Method according to one of the preceding claims, characterized in that the detection device
(4) eine Kamera ist, welche Bilder der Umgebung (3) aufnimmt. (4) is a camera which takes pictures of the environment (3).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die detektierten Umgebungsmerkmale (5) und/ oder Objek- te (6) zur Erstellung der Umgebungskarte (2) in einem externen Gerät (8), insbesondere einem mobilen Gerät (8) und/ oder einem Server, verarbeitet werden. 5. The method according to any one of the preceding claims, characterized in that the detected environmental features (5) and / or Objek- te (6) for creating the environment map (2) in an external device (8), in particular a mobile device (8) and / or a server processed.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungskarte (2) auf einem Display (7) eines externen Gerätes (8), insbesondere eines mobilen Gerätes (8), dargestellt wird. Method according to one of the preceding claims, characterized in that the environment map (2) on a display (7) of an external device (8), in particular a mobile device (8) is displayed.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zumindest ein Teilbereich der dargestellten Umgebungs karte (2) und/ oder ein in der Umgebungs karte (2) dargestelltes Objekt (6) rotiert, vergrößert und/ oder verschoben werden kann. A method according to claim 6, characterized in that at least a portion of the illustrated environment map (2) and / or in the environment map (2) shown object (6) can be rotated, enlarged and / or moved.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Nutzer des Bearbeitungsgerätes (1) einem in der Umgebungskarte (2) vorhandenen Raum und/ oder Raumteilbereich und/ oder Objekt (6) einen Namen und/ oder einen Farbcode und/ oder ein Symbol zuordnet, welcher in Steuerbefehle zur Steuerung einer Fortbewegung des Bearbeitungsgerätes (1) eingebunden werden kann. Method according to one of the preceding claims, characterized in that a user of the processing device (1) in the environment map (2) existing space and / or space portion and / or object (6) a name and / or a color code and / or a symbol assigns, which can be included in control commands for controlling a movement of the processing device (1).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Objekt (6) innerhalb der Umgebungskarte (2) segmentiert wird und aus der Umgebungskarte (2) extrahiert wird, wobei das extrahierte Objekt (6) und/ oder die um das extrahierte Objekt (6) reduzierte Umgebungskarte (2) in ein Datenverarbeitungsprogramm importiert und von diesem weiter verarbeitet wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine aktuelle Position des Bearbeitungsgerätes (1) in der Umgebungskarte (2) angezeigt wird. Method according to one of the preceding claims, characterized in that an object (6) is segmented within the environment map (2) and extracted from the environment map (2), wherein the extracted object (6) and / or around the extracted object ( 6) reduced environment map (2) is imported into a data processing program and further processed by this. Method according to one of the preceding claims, characterized in that a current position of the processing device (1) in the area map (2) is displayed.
EP17825414.0A 2016-12-19 2017-12-11 Method for creating an environment map for a processing unit Withdrawn EP3555721A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016124856.8A DE102016124856A1 (en) 2016-12-19 2016-12-19 Method for creating an environment map for a processing device
PCT/EP2017/082142 WO2018114412A1 (en) 2016-12-19 2017-12-11 Method for creating an environment map for a processing unit

Publications (1)

Publication Number Publication Date
EP3555721A1 true EP3555721A1 (en) 2019-10-23

Family

ID=60935784

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17825414.0A Withdrawn EP3555721A1 (en) 2016-12-19 2017-12-11 Method for creating an environment map for a processing unit

Country Status (7)

Country Link
US (1) US11269350B2 (en)
EP (1) EP3555721A1 (en)
JP (1) JP2020502653A (en)
CN (1) CN110088702A (en)
DE (1) DE102016124856A1 (en)
TW (1) TW201823768A (en)
WO (1) WO2018114412A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017220180A1 (en) * 2017-11-13 2019-05-16 BSH Hausgeräte GmbH Create an environment map
CN109946715B (en) * 2019-04-09 2021-06-25 云鲸智能科技（东莞）有限公司 Detection method, detection device, mobile robot and storage medium
US11432694B2 (en) * 2019-07-05 2022-09-06 Lg Electronics Inc. Travel method of intelligent robot cleaner
EP4058983A1 (en) * 2019-11-12 2022-09-21 Geomagical Labs, Inc. Method and system for scene image modification
JP7254222B1 (en) 2022-01-20 2023-04-07 三菱電機エンジニアリング株式会社 ENVIRONMENTAL MAP GENERATING DEVICE, ENVIRONMENTAL MAP GENERATING METHOD AND PROGRAM
DE102022208869A1 (en) 2022-08-26 2024-02-29 BSH Hausgeräte GmbH Method for creating an area map

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008014912B4 (en) 2008-03-19 2023-01-19 Vorwerk & Co. Interholding Gmbh Automatically movable floor dust collector
US8452450B2 (en) * 2008-04-24 2013-05-28 Evolution Robotics, Inc. Application of localization, positioning and navigation systems for robotic enabled mobile products
US8961695B2 (en) * 2008-04-24 2015-02-24 Irobot Corporation Mobile robot for cleaning
DE102009041362A1 (en) * 2009-09-11 2011-03-24 Vorwerk & Co. Interholding Gmbh Method for operating a cleaning robot
KR102071575B1 (en) * 2013-04-23 2020-01-30 삼성전자 주식회사 Moving robot, user terminal apparatus, and control method thereof
KR102061511B1 (en) * 2013-04-26 2020-01-02 삼성전자주식회사 Cleaning robot, home monitoring apparatus and method for controlling the same
KR102094347B1 (en) * 2013-07-29 2020-03-30 삼성전자주식회사 Auto-cleaning system, cleaning robot and controlling method thereof
KR102332752B1 (en) 2014-11-24 2021-11-30 삼성전자주식회사 Map service providing apparatus and method
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection

Also Published As

Publication number Publication date
US11269350B2 (en) 2022-03-08
WO2018114412A1 (en) 2018-06-28
JP2020502653A (en) 2020-01-23
TW201823768A (en) 2018-07-01
US20190324473A1 (en) 2019-10-24
CN110088702A (en) 2019-08-02
DE102016124856A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
EP3555721A1 (en) Method for creating an environment map for a processing unit
EP2977844B1 (en) Method for cleaning or processing a room using an automatically moved device
EP3659001B1 (en) Magnetometer for robot navigation
EP3417350B1 (en) Method for controlling an autonomous mobile robot
EP3494446B1 (en) Method and apparatus for controlling an autonomous mobile robot
CN110801180B (en) Operation method and device of cleaning robot
Turner et al. Fast, automated, scalable generation of textured 3D models of indoor environments
DE102014012811B4 (en) Floor cleaning apparatus and method and system for determining a floor plan by a self-propelled floor cleaning device
EP3974934A1 (en) Method for controlling an autonomous mobile robot
CN110458897B (en) Multi-camera automatic calibration method and system and monitoring method and system
KR20190032532A (en) Dimensional Estimation for Enclosed Space Using Multi-Directional Camera
Ferland et al. Egocentric and exocentric teleoperation interface using real-time, 3D video projection
EP3538967A1 (en) Method for operating an automatically moving robot
CN106020201A (en) Mobile robot 3D navigation and positioning system and navigation and positioning method
DE102015100419A1 (en) Method and arrangement for processing floor surfaces
DE102015105211A1 (en) Process for working a soil
DE102012112036A1 (en) Method for navigation of self-propelled soil cultivation device, involves digging space region from starting point to end point on meandering path, where starting point is selected
DE102017127180A1 (en) Soil cultivation by means of an autonomous mobile robot
WO2017045981A1 (en) Device and method for generating a model of an object using superimposed image data in a virtual environment
EP3559773B1 (en) Method for the navigation and self-location of an autonomously moving processing device
DE102014110201B3 (en) Self-propelled robot and obstacle detection method for a self-propelled robot
EP3995065B1 (en) Automatically moving cleaning device
EP2831839B1 (en) Method for automatically operating a monitoring system
EP3812869B1 (en) Method for creating an environment map for an automatically moving earth working device, and system comprising two automatically moving earth working devices
EP2741161B1 (en) Autonomous apparatus for processing a surface and method for detecting the position of the autonomous apparatus

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190709

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201105

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220301