DE102019109515A1

DE102019109515A1 - Method for assigning at least one object feature to at least one sub-point set of a 3D point cloud

Info

Publication number: DE102019109515A1
Application number: DE102019109515.8A
Authority: DE
Inventors: Kay Talmi
Original assignee: Hella GmbH and Co KGaA
Current assignee: Cariad SE
Priority date: 2019-04-10
Filing date: 2019-04-10
Publication date: 2020-10-15
Also published as: WO2020207845A1

Abstract

Bei einem Verfahren zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke werden Daten der 3D-Punktwolke mit Hilfe eines mobilen Gerätes verarbeitet und ein Bild (10, 30, 40, 50) eines Bereichs der 3D-Punktwolke auf einer Anzeigeeinheit des mobilen Gerätes ausgegeben. Mit Hilfe eines erweiterten Realitätsverfahrens wird ausgehend von den Daten der 3D-Punktwolke ein 3D-Modell (18, 20, 22) mindestens eines Objekts (12, 14, 16) erzeugt und eine dem Objekt (12, 14, 16) zugeordnete Teilpunktmenge der 3D-Punktwolke ermittelt. Alternativ wird eine Teilpunktmenge der 3D-Punktwolke mit Hilfe eines Eingabemittels des mobilen Gerätes ausgewählt und durch das Auswählen als Objekt (12, 14, 16) klassifiziert. Es wird mindestens eine einem Objekt (12, 14, 16) zugeordnete Teilpunktmenge ausgewählt und der ausgewählten Teilpunktmenge mit Hilfe eines Eingabemittels des mobilen Gerätes ausgewählt wird. Der mindesten einen ausgewählten Teilpunktmenge wird mindestens ein Objektmerkmal zugeordnet.In a method for assigning at least one object feature to at least a partial set of points of a 3D point cloud, data of the 3D point cloud are processed with the aid of a mobile device and an image (10, 30, 40, 50) of an area of the 3D point cloud is displayed on a display unit of the mobile device. With the help of an extended reality method, a 3D model (18, 20, 22) of at least one object (12, 14, 16) is generated based on the data of the 3D point cloud and a sub-point set assigned to the object (12, 14, 16) of the 3D point cloud determined. Alternatively, a subset of points of the 3D point cloud is selected with the aid of an input means of the mobile device and classified as an object (12, 14, 16) by the selection. At least one sub-point set assigned to an object (12, 14, 16) is selected and the selected sub-point set is selected with the aid of an input means of the mobile device. At least one object feature is assigned to the at least one selected sub-point set.

Description

Die Erfindung betrifft ein Verfahren zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke.The invention relates to a method for assigning at least one object feature to at least one sub-point set of a 3D point cloud.

Im Bereich des autonomen Fahrens sowie bei Fahrerassistenzsystem wird die Umgebung eines Fahrzeugs mit Hilfe von 3D-Scannern, wie LiDAR-Systemen, als dreidimensionale Punktwolke, einer sogenannten 3D-Punktwolke, erfasst. Die Daten der erfassten 3D-Punktwolke werden mit Hilfe mindestens einer im Fahrzeug befindlichen Datenverarbeitungseinheit mit künstlicher Intelligenz, insbesondere mit Hilfe neuronaler Netze, verarbeitet. Hierbei detektiert die Datenverarbeitungseinheit automatisch Objekte in der erfassten Umgebung des Fahrzeugs und klassifiziert diese. Das durch die Datenverarbeitungseinheit bereitgestellte Verarbeitungssystem mit künstlicher Intelligenz und insbesondere ein neuronales Netzwerk muss zuvor mit entsprechend aufbereiteten Lerndaten angelernt werden. Für die Aufbereitung der Lerndaten werden Daten einer 3D-Punktwolke, die mit Hilfe einer Sensoreinheit eines Fahrzeugs ermittelt wurde, in einem Personal Computer oder Workstation außerhalb des Fahrzeugs durch eine Bedienperson analysiert. Die Bedienperson markiert hierbei Objekte mit der Maus und weist ihnen mindestens eine Objekteigenschaft zu. Die Daten der 3D-Punktwolke werden dann dem System mit künstlicher Intelligenz zusammen mit den markierten Objekten und zugewiesenen Objekteigenschaften als Lerndaten zugeführt. Dieser Vorgang wird vorzugsweise mehrfach mit weiteren 3D-Punktwolken wiederholt bis der Lernprozess abgeschlossen ist. Nach Abschluss des Lernprozesses wird das angelernte System mit künstlicher Intelligenz dann in eine Datenverarbeitungseinheit des oder eines weiteren Fahrzeugs implementiert und steht dann für Fahrerassistenzsysteme, insbesondere für Advanced Driver Assistance Systems (ADAS), zur Verfügung. Im Fahrzeug werden die Daten unmittelbar, vorzugsweise in Echtzeit, verarbeitet.In the field of autonomous driving and driver assistance systems, the surroundings of a vehicle are recorded with the help of 3D scanners, such as LiDAR systems, as a three-dimensional point cloud, a so-called 3D point cloud. The data of the captured 3D point cloud are processed with the aid of at least one data processing unit with artificial intelligence located in the vehicle, in particular with the aid of neural networks. The data processing unit automatically detects objects in the detected surroundings of the vehicle and classifies them. The processing system with artificial intelligence provided by the data processing unit and in particular a neural network must be trained beforehand with appropriately processed learning data. For the preparation of the learning data, data from a 3D point cloud, which was determined with the aid of a sensor unit of a vehicle, is analyzed in a personal computer or workstation outside the vehicle by an operator. The operator marks objects with the mouse and assigns them at least one object property. The data of the 3D point cloud is then fed to the system with artificial intelligence together with the marked objects and assigned object properties as learning data. This process is preferably repeated several times with further 3D point clouds until the learning process is completed. After completion of the learning process, the learned system with artificial intelligence is then implemented in a data processing unit of the vehicle or another vehicle and is then available for driver assistance systems, in particular for Advanced Driver Assistance Systems (ADAS). The data is processed immediately in the vehicle, preferably in real time.

Dokument US 2015 0062123 A1 offenbart ein Computersystem zum Erzeugen von Anmerkungen und Hinweisen in Anwendungen der erweiterten Realität (englisch: augmented reality (AR)). Hierbei wird ein Bild eines realen Objekts, wie ein Flugzeug, mit Hilfe eines Tablet-Computers aufgenommen und davon ausgehend ein erweitertes Realitätsmodell (AR-Model) erzeugt. Ein Benutzer kann dann manuell mit Hilfe des angezeigten Bildes und eines Eingabemittels einem Objekt eine Objekteigenschaft zuweisen, d.h. das Objekt labeln. Als Ergebnis wird ein gelabeltes 3D-Modell erzeugt.document US 2015 0062123 A1 discloses a computer system for generating annotations and cues in augmented reality (AR) applications. Here, an image of a real object, such as an airplane, is recorded with the help of a tablet computer and, based on this, an extended reality model (AR model) is generated. A user can then manually assign an object property to an object with the aid of the displayed image and an input means, that is to say label the object. A labeled 3D model is generated as the result.

Im Dokument US 2016 0358383 A1 wird offenbart, dass ein Fahrzeugmotor mit Hilfe eines Tablet-Computers von einem ersten Nutzer aufgenommen und zu einem entfernten Nutzer an einem anderen Ort gesendet wird. Der entfernte Nutzer kann im Bild Bereiche markieren und diese Bereiche mit einem Label versehen. Das Label wird im Bild des ersten Nutzers auf seinem Tablet-Computer zusammen mit dem Bild angezeigt.In the document US 2016 0358383 A1 it is disclosed that a vehicle engine is picked up by a first user using a tablet computer and sent to a remote user at another location. The remote user can mark areas in the image and label these areas. The label is displayed in the image of the first user on their tablet computer together with the image.

Dokument WO 2018/07109 A1 offenbart eine Bildaufnahme mit Hilfe eines mobilen Gerätes. Hierbei wird ein Fahrzeug aufgenommen. Das aufgenommene Bild kann durch eine Bewegung des mobilen Geräts vergrößert werden, so dass ein bestimmter Bereich des Fahrzeugs auf der Anzeigeeinheit des mobilen Geräts angezeigt wird. Ein Labeln erfolgt nicht.document WO 2018/07109 A1 discloses an image recording with the aid of a mobile device. A vehicle is recorded here. The recorded image can be enlarged by moving the mobile device so that a specific area of the vehicle is displayed on the display unit of the mobile device. There is no labeling.

Es ist Aufgabe der Erfindung, ein Verfahren zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktemenge einer 3D-Punktwolke anzugeben, durch das eine Zuordnung von Objektmerkmalen zu Objekten einfach möglich ist. Ferner ist ein mobiles Gerät zum Ausführen des Verfahrens anzugeben.It is the object of the invention to provide a method for assigning at least one object feature to at least a partial set of points of a 3D point cloud, by means of which an assignment of object features to objects is easily possible. A mobile device for carrying out the method must also be specified.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method with the features of claim 1. Advantageous further developments are given in the dependent claims.

Bei dem Verfahren zum Zuordnen eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke wird mit Hilfe eines erweiterten Realitätsverfahrens ausgehend von den Daten 3D-Punktwolke ein 3D-Modell mindestens eines Objekts erzeugt und eine dem Objekt zugeordnete Teilpunktmenge der 3D-Punktwolke ermittelt. Alternativ oder zusätzlich wird eine Teilpunktmenge der 3D-Punktwolke mit Hilfe eines Eingabemittels des mobilen Gerätes ausgewählt und durch das Auswählen als Objekt klassifiziert.In the method for assigning an object feature to at least one sub-point set of a 3D point cloud, a 3D model of at least one object is generated based on the 3D point cloud data and a sub-point set assigned to the object of the 3D point cloud is determined with the help of an extended reality method. Alternatively or in addition, a partial set of points of the 3D point cloud is selected with the aid of an input means of the mobile device and classified as an object by the selection.

Zur Aufbereitung der Daten der 3D-Punktwolke als Lerndaten für ein System mit künstlicher Intelligenz müssen klassifizierten Objekten jedoch auch Objektmerkmale zugeordnet werden, die das Objekt näher spezifizieren. Ein solches Merkmal kann insbesondere eine Angabe zur Art des Objekts, wie beispielsweise die Objektart „Fußgänger“, „Fahrradfahrer“, „Fahrrad“, „PKW“, „LKW“, „Baum“, „Straßenrand“, „Leitpfosten“, „Straßenlaterne“, „Ampelanlage“ usw. umfassen. Auch können Bereichen eines Objekts Objektmerkmale zugewiesen werden, wie „Person von vorne“, „Person von hinten“, „Person von der Seite“, „Person von oben“, „Fahrzeug von hinten“, „Fahrzeug von der Seite“, „Fahrzeug von vorn“, „Fahrzeug von oben“ usw. Unter erweiterter Realität (auch englisch: augmented reality, kurz AR) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Unter erweitertes Realitätsverfahren wird ein computergestütztes bzw. datenverarbeitungsanlagengestütztes Verfahren zur Erweiterung der Realitätswahrnehmung verstanden. Die Erweiterung der Realitätswahrnehmung kann durch eine Information an jede menschliche Sinnesmodalität erfolgen. Es können insbesondere Ergänzungen in Bildern oder Videos vorgenommen werden, wobei insbesondere virtuelle Objekte eingeblendet und/oder einem angezeigten Bild überlagert werden.In order to prepare the data of the 3D point cloud as learning data for a system with artificial intelligence, however, classified objects must also be assigned object features that specify the object in more detail. Such a feature can in particular include information on the type of object, such as the object type “pedestrian”, “cyclist”, “bicycle”, “car”, “truck”, “tree”, “roadside”, “delineator”, “street lamp” "," Traffic light system "etc. include. Object features can also be assigned to areas of an object, such as “person from the front”, “person from behind”, “person from the side”, “person from above”, “vehicle from behind”, “vehicle from the side”, “vehicle” from the front ”,“ vehicle from above ”, etc. Augmented reality is the computer-aided expansion of the perception of reality. A computer-aided resp. understood data processing system-based method for expanding the perception of reality. The expansion of the perception of reality can take place through information to any human sensory modality. In particular, additions to images or videos can be made, with virtual objects in particular being faded in and / or superimposed on a displayed image.

Eine 3D-Punktwolke ist eine dreidimensionale Punktwolke und wird auch als dreidimensionale Punkthaufen bezeichnet. Die 3D-Punktwolke umfasst eine Menge von Punkten eines Vektorraums, die eine unorganisierte räumliche Struktur (Wolke) aufweist. Eine 3D-Punktwolke ist durch die enthaltenen Punkte beschrieben, die jeweils ihre Raumkoordinaten sind. Es gibt 3D-Punktwolken mit Georeferenzierungen, die Punkte im erdbezogenen Koordinatensystem enthalten. Zu diesen Punkten können zusätzliche Attribute, wie z.B. geometrische Normalen, Farbwerte oder Messungenauigkeiten erfasst sein.A 3D point cloud is a three-dimensional point cloud and is also known as a three-dimensional point cluster. The 3D point cloud comprises a set of points in a vector space that has a disorganized spatial structure (cloud). A 3D point cloud is described by the points it contains, each of which is its spatial coordinates. There are 3D point clouds with georeferencing that contain points in the earth-related coordinate system. Additional attributes such as Geometric normals, color values or measurement inaccuracies must be recorded.

Eine Punktwolke kann grundsätzlich über ein beliebiges Scanverfahren erzeugt werden. Dies ist z.B. durch terrestrisches oder fahrzeuggestütztes Laserscannen oder auch fotogrammetrische Verfahren möglich. Hierbei können 3D-Punktwolken allgemein mit Hilfe einer Abtastung von Objektoberflächen durch tastende oder optische Scanner erfolgen. Optische Scanner können insbesondere Laserscanner sein, die nach dem Triangulationsprinzip arbeiten, oder Normallicht-Scanner, die nach dem Streifenlichtverfahren (coded light) arbeiten. Durch die mehrfache Erfassung eines räumlichen Ausschnitts zu unterschiedlichen Zeiten lässt sich auch ein vierdimensionales, d.h. zeitvariantes, diskretes räumliches Modell der Umgebung aufbauen. Jeder Punkt der 3D-Punktwolke wird dabei zeitlich und räumlich (XYZ-Koordinaten) lokalisiert und kann auch georeferenziert erfasst werden oder nachträglich georeferenziert werden. Für die vorliegende Erfindung ist es ausreichend, wenn jeder Punkt der Wolke räumlich in einem Fahrzeugkoordinatensystem oder einem Weltkoordinatensystem lokalisiert ist.A point cloud can basically be generated using any scanning method. This is e.g. possible through terrestrial or vehicle-based laser scanning or photogrammetric methods. Here, 3D point clouds can generally take place with the aid of scanning object surfaces by means of scanning or optical scanners. Optical scanners can in particular be laser scanners that work according to the triangulation principle, or normal light scanners that work according to the strip light method (coded light). By recording a spatial section multiple times at different times, a four-dimensional, i.e. Build a time-variant, discrete spatial model of the environment. Each point of the 3D point cloud is localized in terms of time and space (XYZ coordinates) and can also be georeferenced or georeferenced afterwards. It is sufficient for the present invention if each point of the cloud is spatially localized in a vehicle coordinate system or a world coordinate system.

Die Daten der 3D-Punktwolke werden mit Hilfe eines leicht im Raum bewegbaren mobilen Gerätes verarbeitet, wobei ein Bild eines Bereichs der 3D-Punktwolke auf einer Anzeige eines mobilen Gerätes ausgegeben wird. Mindestens eine einem Objekt zugeordnete Teilpunktmenge wird ausgewählt und der ausgewählten Teilpunktmenge wird mindestens ein Objektmerkmal zugeordnet. Hierdurch ist ein einfaches Labelling von Objekten möglich. Hierbei können mehrere Einzelobjekte zu einem Gesamtobjekt zusammengesetzt sein. So können die mit den Objektmerkmalen „rechte Seite Fahrzeug“, „linke Seite Fahrzeug“, „Vorderseite Fahrzeug“, „Rückseite Fahrzeug“, „Fahrzeug von oben“ dem Gesamtobjekt „Fahrzeug“ zugeordnet sein.The data of the 3D point cloud are processed with the aid of a mobile device that can be easily moved in space, an image of a region of the 3D point cloud being output on a display of a mobile device. At least one sub-point set assigned to an object is selected and at least one object feature is assigned to the selected sub-point set. This enables simple labeling of objects. Several individual objects can be combined to form an overall object. The objects with the object characteristics “right side of vehicle”, “left side of vehicle”, “front of vehicle”, “rear of vehicle”, “vehicle from above” can be assigned to the overall object “vehicle”.

Mit Hilfe des mobilen Geräts ist somit ein sehr einfaches Zuordnen von Objekteigenschaften, d.h. ein sehr einfaches Labelling von Objekten, und bei Bedarf auch ein sehr einfaches Kennzeichnen von Teilpunktmengen der 3D-Punktwolke als Objekt möglich. Hierdurch können Daten von erfassten 3D-Punktwolken einfach als Lerndaten für Systeme mit künstlicher Intelligenz aufbereitet werden. Die Daten der 3D-Punktwolke werden insbesondere mit Hilfe eines in einem Fahrzeug angeordneten Sensorsystems erfasst und anschließend zu dem mobilen Gerät übertragen. Die 3D-Punktwolkendaten werden dann gemeinsam mit dem mindestens einer Teilpunktmenge zugeordneten Objektmerkmal einem System mit künstlicher Intelligenz, wie einem neuronalen Netzwerk, als Lerndaten zugeführt. Das angelernte System mit künstlicher Intelligenz kann dann in einer Steuereinheit oder Datenverarbeitungseinheit des Fahrzeugs oder eines weiteren Fahrzeugs implementiert werden.With the help of the mobile device, a very simple assignment of object properties, i.e. a very simple labeling of objects and, if necessary, a very simple marking of partial point sets of the 3D point cloud as an object. This means that data from captured 3D point clouds can be easily processed as learning data for systems with artificial intelligence. The data of the 3D point cloud are recorded in particular with the aid of a sensor system arranged in a vehicle and then transmitted to the mobile device. The 3D point cloud data, together with the object feature assigned to at least one sub-point set, are then supplied as learning data to a system with artificial intelligence, such as a neural network. The learned system with artificial intelligence can then be implemented in a control unit or data processing unit of the vehicle or of another vehicle.

Besonders vorteilhaft ist es, wenn eine Navigation innerhalb der 3D-Punktwolke mit Hilfe des mobilen Gerätes erfolgt bzw. ermöglicht wird, wobei durch die Navigation die Position und/oder der Blickwinkel des auf der Anzeigeeinheit angezeigten Bildes, vorzugsweise innerhalb der 3D-Punktwolke, verändert wird. Hierdurch kann einfach zu Objekten innerhalb der 3D-Punktwolke navigiert werden, um diese dann mit Hilfe des mobilen Gerätes auszuwählen und den ausgewählten Objekten bzw. den den Objekten zugeordneten Teilpunktmengen ein Objektmerkmal zuzuordnen.It is particularly advantageous if navigation within the 3D point cloud takes place or is made possible with the aid of the mobile device, the position and / or the viewing angle of the image displayed on the display unit, preferably within the 3D point cloud, being changed by the navigation becomes. In this way it is easy to navigate to objects within the 3D point cloud in order to then select them with the aid of the mobile device and to assign an object feature to the selected objects or to the partial point sets assigned to the objects.

Besonders vorteilhaft ist es, wenn Eingabemittel zur Navigation vorgesehen sind. Die Eingabemittel können Bewegungssensoren, wie Beschleunigungssensoren und/oder Lagersensoren umfassen. Hierdurch ist eine einfache Bedieneingabe zur Navigation durch die 3D-Punkte möglich.It is particularly advantageous if input means are provided for navigation. The input means can include movement sensors, such as acceleration sensors and / or bearing sensors. This enables simple operator input to navigate through the 3D points.

Ferner ist es vorteilhaft, wenn die mindestens eine Teilpunktmenge mit Hilfe eines Eingabemittels des mobilen Gerätes ausgewählt wird. Insbesondere kann eine die Teilpunktmenge begrenzende Box oder eine andere vorzugsweise einfache geometrische Figur in das angezeigte Bild eingebracht werden. Dies kann insbesondere durch Einfügen und Verschieben sowie durch Ändern der Größe und Form der Box über einen Touchscreen des mobilen Gerätes erfolgen. Die Box kann hierbei an mindestens einer Seite des dem Objektmerkmal zu kennzeichnenden Objektes auch an das Objekt angrenzende Bereiche umfassen. Hierdurch eine einfache Auswahl von Objekten möglich.It is also advantageous if the at least one sub-point set is selected with the aid of an input means of the mobile device. In particular, a box delimiting the sub-point set or another preferably simple geometric figure can be incorporated into the displayed image. This can be done in particular by inserting and moving as well as by changing the size and shape of the box via a touchscreen of the mobile device. The box can also include areas adjoining the object on at least one side of the object to be identified with the object feature. This makes it easy to select objects.

Ferner ist es vorteilhaft, wenn der mindestens einen ausgewählten Teilpunktmenge mindestens ein Objektmerkmal durch eine Eingabe mit Hilfe eines Eingabemittels des mobilen Gerätes zugeordnet wird. Ein solches Eingabemittel ist beispielsweise ein Spracheingabemittel, ein Sensorhandschuh zum Erfassen der Handbewegung einer Bedienperson, ein Touchscreen zur Auswahl aus einer auf dem Touchscreen angezeigten Liste und/oder eine Tastatur zur Texteingabe, vorzugsweise eine Bildschirmtastatur des mobilen Gerätes. Hierdurch ist eine einfache Auswahl und Zuordnung bzw. Eingabe des Objektmerkmals und Zuordnen des Objektmerkmals zu einer Teilpunktmenge möglich.It is also advantageous if the at least one selected sub-point set has at least one object feature through an input with the aid of an input means of the mobile device is assigned. Such an input means is, for example, a voice input means, a sensor glove for detecting the hand movement of an operator, a touchscreen for selecting from a list displayed on the touchscreen and / or a keyboard for entering text, preferably a screen keyboard of the mobile device. This enables simple selection and assignment or input of the object feature and assignment of the object feature to a sub-point set.

Ferner ist es vorteilhaft, wenn mindestens eine einem Objekt zugeordnete Teilpunktmenge durch eine Eingabe mit Hilfe eines Eingabemittels, vorzugsweise durch Spracheingabe, durch eine von mindestens einem Sensorhandschuh erfasste Handbewegung, durch Auswahl aus einer auf der Anzeigeeinheit angezeigten Liste und/oder durch Texteingabe über eine Tastatur, vorzugsweise über eine Bildschirmtastatur des mobilen Gerätes, ausgewählt wird. Hierdurch ist eine besonders einfache Auswahl der Teilpunktmenge möglich, so dass eine einfache und intuitive Bedienung des mobilen Gerätes möglich ist.It is also advantageous if at least one sub-point set assigned to an object is entered using an input means, preferably by voice input, by a hand movement detected by at least one sensor glove, by selecting from a list displayed on the display unit and / or by entering text via a keyboard is selected, preferably via a screen keyboard of the mobile device. This enables a particularly simple selection of the partial point set, so that simple and intuitive operation of the mobile device is possible.

Besonders vorteilhaft ist es, wenn das mit Hilfe des erweiterten Realitätsverfahrens ermittelte 3D-Modell als Bild, vorzugsweise zusammen mit einer grafischen Darstellung des Bereichs der 3D-Wolke, auf der Anzeigeeinheit des mobilen Gerätes angezeigt wird. Hierdurch können die mit Hilfe des erweiterten Realitätsverfahrens ermittelten Objekte als 3D-Modelle einfach angezeigt und von einer Bedienperson schnell wahrgenommen werden, so dass eine einfache und zügige Bedienung des mobilen Gerätes möglich ist, so dass eine sehr effiziente Zuordnung des Objektmerkmals zu mindestens einer Teilpunktmenge möglich ist.It is particularly advantageous if the 3D model determined with the aid of the extended reality method is displayed as an image, preferably together with a graphic representation of the area of the 3D cloud, on the display unit of the mobile device. As a result, the objects determined with the help of the extended reality method can be easily displayed as 3D models and quickly perceived by an operator, so that the mobile device can be operated quickly and easily, so that a very efficient assignment of the object feature to at least one sub-point set is possible is.

Ferner ist es vorteilhaft, wenn die Teilpunktmenge eine Teilmenge aller Punkte der 3D-Punktwolke ist. Die Teilpunktemenge enthält vorzugsweise nur Punkte eines Objekts und ggf. an das Objekt angrenzende Bereiche, in denen sich vorzugsweise kein weiteres Objekt befindet. Hierdurch ist eine einfache Auswahl einer Teilpunktmenge möglich.It is also advantageous if the subset of points is a subset of all points in the 3D point cloud. The sub-point set preferably only contains points of an object and possibly areas adjoining the object, in which there is preferably no further object. This enables a simple selection of a partial set of points.

Ferner ist es vorteilhaft, wenn eine Teilpunktmenge durch einen geometrischen Körper, insbesondere durch einen Quader oder einen Zylinder, ausgewählt und/oder im angezeigten Bild mit Hilfe eines geometrischen Körpers, insbesondere durch einen Quader oder durch einen Zylinder, gekennzeichnet ist. Hierbei ist es besonders vorteilhaft, wenn bei einer Auswahl des jeweiligen Objekts bzw. bei einer Auswahl der einem Objekt zugeordneten Teilpunktmenge die Farbe des geometrischen Körpers geändert wird. Hierdurch ist eine einfache Auswahl und Markierung eines Objekts möglich, dem anschließend durch eine entsprechende Bedieneingabe ein Objektmerkmal zugeordnet wird. Hierdurch ist eine einfache Handhabung des mobilen Gerätes und insbesondere ein einfaches Labelling von in der 3D-Punktwolke enthaltenen Objekten möglich.It is also advantageous if a sub-point set is selected by a geometric body, in particular a cuboid or a cylinder, and / or is characterized in the displayed image with the aid of a geometric body, in particular a cuboid or a cylinder. It is particularly advantageous here if the color of the geometric body is changed when the respective object is selected or when the sub-point set assigned to an object is selected. This enables an object to be selected and marked easily, to which an object feature is then assigned by a corresponding operator input. This enables simple handling of the mobile device and, in particular, simple labeling of objects contained in the 3D point cloud.

Ferner ist es vorteilhaft, wenn das mobile Gerät ein Smartphone, ein Tablet-Computer, eine Virtual-Reality-Brille mit der Virtual-Reality-Brille zugeordneten Eingabesensoren und/eine Augmented-Reality-Brille mit der Augmented-Brille zugeordneten Eingabesensoren ist. Die Eingabesensoren können insbesondere Positions-, Lage- und/oder Beschleunigungssensoren sein, die insbesondere in einem Handschuh angeordnet sind. Eine Bedienperson kann dann den Handschuh anziehen und über Bewegungen der Hand, der Finger und des Arms einfach Bedieneingaben vornehmen, insbesondere durch die 3D-Punktwolke navigieren, eingeblendete Symbole und Texte auswählen und hierdurch einfach Teilpunktmengen der 3D-Punktwolke auswählen und diesen Teilpunktmengen ein oder mehrere Objektmerkmale zuordnen. Zusätzlich oder alternativ kann ein Mikrofon zur Spracheingabe vorgesehen werden, durch das sowohl die Navigation durch die 3D-Punktwolke als auch die Auswahl von Teilpunktmengen sowie das Zuordnen des Objektmerkmals zu der Teilpunktmenge einfach möglich ist. Die Augmented-Reality-Brille wird als auch AR-Brille und die Virtual-Reality-Brille auch als VR-Brille bezeichnet.It is also advantageous if the mobile device is a smartphone, a tablet computer, virtual reality glasses with input sensors assigned to the virtual reality glasses and / an augmented reality glasses with input sensors assigned to the augmented glasses. The input sensors can in particular be position, attitude and / or acceleration sensors, which are in particular arranged in a glove. An operator can then put on the glove and simply make operating inputs using movements of the hand, fingers and arm, in particular navigate through the 3D point cloud, select symbols and texts that are displayed and thereby simply select sub-point sets of the 3D point cloud and one or more of these sub-point sets Assign reference characteristics. Additionally or alternatively, a microphone can be provided for voice input, by means of which both the navigation through the 3D point cloud and the selection of partial point sets and the assignment of the object feature to the partial point set is possible. The augmented reality glasses are also referred to as AR glasses and the virtual reality glasses also as VR glasses.

Besonders vorteilhaft ist es, wenn die Daten der 3D-Punktwolke mit Hilfe einer Sensoreinheit eines Fahrzeugs, insbesondere mit Hilfe eines 3D-Scanners oder mit Hilfe eines LiDAR-Sensors, vorzugsweise während der Fahrt des Fahrzeugs, ermittelt und gespeichert werden. Hierbei ist es besonders vorteilhaft, wenn die gespeicherten Daten zu dem mobilen Gerät übertragen werden und wenn die Zuordnung des Objektmerkmals zu der ausgewählten Teilpunktmenge zeitlich und örtlich unabhängig, in der Daten-Punktwolke erfolgt. Hierdurch ist eine einfache Ermittlung von Lerndaten für ein System mit künstlicher Intelligenz möglich.It is particularly advantageous if the data of the 3D point cloud are determined and stored with the aid of a sensor unit of a vehicle, in particular with the aid of a 3D scanner or with the aid of a LiDAR sensor, preferably while the vehicle is in motion. It is particularly advantageous here if the stored data are transmitted to the mobile device and if the assignment of the object feature to the selected partial point set takes place independently of time and location in the data point cloud. This enables learning data to be determined easily for a system with artificial intelligence.

Ferner ist es vorteilhaft, wenn der Bildausschnitt des angezeigten Bildes durch eine Eingabe mit Hilfe von Eingabemitteln des mobilen Gerätes, vorzugsweise durch Spracheingabe, durch eine von mindestens einem Sensorhandschuh erfasste Handbewegung, durch Auswahl aus einer auf der Anzeigeeinheit angezeigten Liste und/oder durch Texteingabe über eine Tastatur, vorzugsweise über eine Bildschirmtastatur des mobilen Gerätes, veränderbar, insbesondere vergrößerbar oder verkleinerbar, ist. Hierdurch ist eine einfache und intuitive Bedienung des mobilen Gerätes zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke möglich.It is also advantageous if the image section of the displayed image is entered using input means of the mobile device, preferably by voice input, by a hand movement detected by at least one sensor glove, by selection from a list displayed on the display unit and / or by entering text a keyboard, preferably via a screen keyboard of the mobile device, can be changed, in particular enlarged or reduced. This enables simple and intuitive operation of the mobile device for assigning at least one object feature to at least a partial set of points of a 3D point cloud.

Ferner ist es vorteilhaft, wenn die Eingabe mit Hilfe der Eingabemittel des mobilen Gerätes durch das Erfassen einer Bewegung des mobilen Gerätes im Raum erfolgt. Hierdurch ist eine besonders einfache Bedienung des mobilen Gerätes sowohl zur Navigation durch die 3D-Punktwolke als auch zum Zuordnen mindestens einer Objekteigenschaft zu mindestens einer Teilpunktmenge der 3D-Punktwolke möglich.It is also advantageous if the input takes place with the aid of the input means of the mobile device by detecting a movement of the mobile device in space. This enables particularly simple operation of the mobile device both for navigating through the 3D point cloud and for assigning at least one object property to at least a partial set of points of the 3D point cloud.

Ein zweiter Aspekt der Erfindung betrifft ein mobiles Gerät, das so ausgebildet und programmiert ist, ein Verfahren nach Anspruch 1 oder einer zuvor angegebenen Weiterbildung auszuführen.A second aspect of the invention relates to a mobile device which is designed and programmed to carry out a method according to claim 1 or a previously specified development.

Weitere Merkmale und Vorteile ergeben sich aus der folgenden Beschreibung, die Ausführungsformen in Verbindung mit den beigefügten Figuren näher erläutert. In den Figuren zeigen:

1 ein Bild eines Bereichs einer 3D-Punktwolke auf einer Anzeigeeinheit eines mobilen Gerätes mit mehreren gekennzeichneten Objekten in einer ersten räumlichen Darstellung;
2 ein bei dem Ermitteln der Daten der 3D-Punktwolke nach 1 mit Hilfe einer Kamera aufgenommenes Bild einer Verkehrssituation;
3 ein Bild eines zweiten Bereichs der 3D-Punktwolke auf der Anzeigeeinheit des mobilen Gerätes mit einer perspektivischen Draufsicht auf ein Objekt nach 1;
4 ein Bild eines dritten Bereichs der 3D-Punktwolke auf der Anzeigeeinheit des mobilen Gerätes mit einer ersten Seitenansicht des Objekts nach 3;
5 ein Bild eines vierten Bereichs der 3D-Punktwolke auf der Anzeigeeinheit des mobilen Gerätes mit einer zweiten Seitenansicht des Objekts nach 3; und
6 einen Ablaufplan für ein Verfahren zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke.

Further features and advantages emerge from the following description, which explains the embodiments in more detail in conjunction with the accompanying figures. In the figures show:

1 an image of a region of a 3D point cloud on a display unit of a mobile device with a plurality of marked objects in a first spatial representation;
2 a when determining the data of the 3D point cloud 1 image of a traffic situation recorded with the aid of a camera;
3 an image of a second area of the 3D point cloud on the display unit of the mobile device with a perspective top view of an object 1 ;
4th an image of a third area of the 3D point cloud on the display unit of the mobile device with a first side view of the object 3 ;
5 an image of a fourth area of the 3D point cloud on the display unit of the mobile device with a second side view of the object 3 ; and
6th a flow chart for a method for assigning at least one object feature to at least one sub-point set of a 3D point cloud.

1 zeigt ein Bild 10 eines Bereichs einer 3D-Punktwolke auf einer Anzeigeeinheit eines mobilen Gerätes mit mehreren gekennzeichneten Objekten 12, 14, 16 in einer ersten räumlichen Darstellung. Die Objekte 12 bis 16 wurden mit Hilfe eines erweiterten Realitätsverfahrens des mobilen Gerätes detektiert und jeweils ein 3D-Modell bzw. Bounding-Box 18, 20, 22 erzeugt, die zusammen mit dem Bereich der 3D-Punktwolke im Bild 10 dargestellt sind. Die Bounding Box 18 hat eine Zylinderform, die Bounding Boxes 20 und 22 haben jeweils eine Quaderform. Ferner ist im Bild 10 ein Koordinatensystem mit den Achsen X, Y und Z zusätzlich zu den Bounding Boxes 18 bis 22 und der grafischen Darstellung des Bereichs der 3D-Punktwolke dargestellt. Bei dem Objekt 12 handelt es sich um einen Radfahrer, beim Objekt 16 um einen Fußgänger und beim Objekt 14 um einen Kleinbus. 1 shows a picture 10 of a region of a 3D point cloud on a display unit of a mobile device with several marked objects 12 , 14th , 16 in a first spatial representation. The objects 12 to 16 were detected with the help of an extended reality method of the mobile device and a 3D model or bounding box 18th , 20th , 22nd generated along with the area of the 3D point cloud in the image 10 are shown. The bounding box 18th has a cylindrical shape, the bounding boxes 20th and 22nd each have a cuboid shape. Furthermore is in the picture 10 a coordinate system with the axes X, Y and Z in addition to the bounding boxes 18th to 22nd and the graphic representation of the area of the 3D point cloud. At the object 12 it is a cyclist, the object 16 around a pedestrian and at the object 14th a minibus.

2 zeigt ein bei dem Ermitteln der Daten der 3D-Punktwolke nach 1 mit Hilfe einer Kamera aufgenommenes Bild 28 einer Verkehrssituation. In der Mitte des Bildes ist der Radfahrer 12 und auf der Straße vor dem Radfahrer der Kleinbus 14 zu sehen. 2 shows a when determining the data of the 3D point cloud 1 image captured by a camera 28 a traffic situation. In the middle of the picture is the cyclist 12 and on the street in front of the cyclist the minibus 14th to see.

3 zeigt ein Bild 30 eines zweiten Bereichs der 3D-Punktwolke auf der Anzeigeeinheit des mobilen Geräts mit einer perspektivischen Draufsicht auf das 3D-Modell 18 des Radfahrers 12. 4 zeigt ein Bild 40 eines dritten Bereichs der 3D-Punktwolke auf der Anzeigeeinheit des mobilen Geräts mit einer ersten Seitenansicht des Radfahrers 12 und des 3D-Modells 18, in der auch der Kleinbus 14 sichtbar ist. 3 shows a picture 30th a second area of the 3D point cloud on the display unit of the mobile device with a perspective top view of the 3D model 18 of the cyclist 12 . 4th shows a picture 40 a third area of the 3D point cloud on the display unit of the mobile device with a first side view of the cyclist 12 and the 3D model 18, in which the minibus 14th is visible.

5 zeigt ein Bild 50 eines vierten Bereichs der 3D-Punktwoke auf der Anzeigeeinheit des mobilen Geräts mit einer zweiten Seitenansicht des 3D-Modells 18 und des Fahrradfahrers 12. 5 shows a picture 50 a fourth area of the 3D point woke on the display unit of the mobile device with a second side view of the 3D model 18 and the cyclist 12 .

6 zeigt einen Ablaufplan eines Verfahrens zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke. Der Ablauf wird im Schritt S10 gestartet. Anschließend wird im Schritt S12 eine 3D-Punktwolke mit Hilfe eines 3D-Scaners, wie einem LiDAR-System, erfasst und die Daten der 3D-Punktwolke werden gespeichert. 6th shows a flow chart of a method for assigning at least one object feature to at least one sub-point set of a 3D point cloud. The process is in step S10 started. Then in step S12 a 3D point cloud is captured with the aid of a 3D scanner such as a LiDAR system and the data of the 3D point cloud is saved.

Im Schritt S14 werden die gespeicherten Daten der 3D-Punktwolke dann in ein mobiles Gerät, wie ein Smartphone, einen Tablet-Computer, eine VR-Brille oder eine AR-Brille, geladen. Die Daten der 3D-Punktwolke werden mit Hilfe des mobilen Geräts verarbeitet und ein Bild eines Bereichs der 3D-Punktwolke auf einer Anzeigeeinheit des mobilen Geräts ausgegeben.In step S14 the stored data of the 3D point cloud is then loaded into a mobile device such as a smartphone, tablet computer, VR glasses or AR glasses. The data of the 3D point cloud are processed with the aid of the mobile device and an image of a region of the 3D point cloud is output on a display unit of the mobile device.

Anschließend wird im Schritt S16 ein Objekt in der 3D-Punktwolke ermittelt. Dies kann mit Hilfe eines erweiterten Realitätsverfahrens ausgehend von den Daten der 3D-Punktwolke erfolgen. Mit Hilfe des erweiterten Realitätsverfahrens wird ein 3D-Modell mindestens eines Objekts erzeugt. Somit wird eine dem Objekt zugeordnete Teilpunktmenge der 3D-Punktwolke ermittelt. Alternativ kann zum Ermitteln eines Objekts einer 3D-Punktwolke eine Teilpunktmenge der 3D-Punktwolke mit Hilfe eines Eingabemittels des mobilen Gerätes ausgewählt werden. Durch diese Auswahl wird die ausgewählte Punktmenge als Objekt eingeordnet, d.h. als Objekt klassifiziert, so dass diesem Objekt dann mindestens ein Objektmerkmal zugeordnet werden kann. Die Auswahl der Punktmenge mit Hilfe des Eingabemittels des mobilen Gerätes erfolgt insbesondere durch Bedieneingaben einer Bedienperson.Then in step S16 determines an object in the 3D point cloud. This can be done with the help of an extended reality method based on the data of the 3D point cloud. With the help of the extended reality method, a 3D model of at least one object is generated. In this way, a subset of points of the 3D point cloud assigned to the object is determined. Alternatively, to determine an object of a 3D point cloud, a sub-point set of the 3D point cloud can be selected with the aid of an input device of the mobile device. As a result of this selection, the selected point set is classified as an object, ie classified as an object, so that at least one object feature can then be assigned to this object. The selection of the point set with the help of the input means of the mobile device takes place in particular through operator input by an operator.

Im Schritt S18 wird dann die dem Objekt zugeordnete Teilpunktmenge ausgewählt und dann der Teilpunktmenge bzw. dem Objekt im Schritt S20 ein Objektmerkmal zugeordnet. Ein solches Objektmerkmal kann für das Objekt 12 beispielsweise „Fahrradfahrer“, für das Objekt 14 „Kleinbus“, für das Objekt 16 „Fußgänger“ sein. Die einzelnen Ansichten des Fahrradfahrers 12 werden als zusätzliche Objekte klassifiziert, wobei der Draufsicht nach 3 auf den Fahrradfahrer 12 das Objektmerkmal „Fahrradfahrer von oben“, der ersten Seitenansicht nach 4 des Fahrradfahrers 12 das Objektmerkmal „Fahrradfahrer von hinten“ und der zweiten Seitenansicht gemäß 5 das Objektmerkmal „Fahrradfahrer von der Seite“ zugeordnet wird.In step S18 the sub-point set assigned to the object is then selected and then the sub-point set or the object in step S20 assigned a reference feature. Such an object feature can be used for the object 12 for example "cyclist" for the object 14th "Minibus", for the object 16 Be a "pedestrian". The individual views of the cyclist 12 are classified as additional objects, according to the plan view 3 on the cyclist 12 the object feature “cyclist from above”, according to the first side view 4th of the cyclist 12 the object feature "cyclist from behind" and the second side view according to 5 the object characteristic "cyclist from the side" is assigned.

Der Ablauf wird dann im Schritt S22 beendet. Der Ablauf wird für jedes Objekt wiederholt. Bei anderen Ausführungsformen können auch mehrere Objekte, denen dasselbe Objektmerkmal zugeordnet werden soll, gleichzeitig ausgewählt bzw. Teilpunktmengen der Objekte ausgewählt und allen ausgewählten Teilpunktmengen dann das eine Objektmerkmal gleichzeitig zugeordnet werden.The process is then in step S22 completed. The process is repeated for each object. In other embodiments, a plurality of objects to which the same object feature is to be assigned can also be selected at the same time or partial point sets of the objects can be selected and the one object characteristic can then be assigned simultaneously to all selected partial point sets.

Durch das angegebene Verfahren zum Zuordnen mindestens eines Objektmerkmals zu mindestens einer Teilpunktmenge einer 3D-Punktwolke kann somit ein einfaches Labeling von Objekten, die in 3D-Punktwolken enthalten sind, erfolgen. Für Daten, die mit Hilfe von ADAS-Sensoren erfasst wurden, kann dadurch mit Hilfe eines mobilen Geräts, etwa eines Tablet-Computers, eines Smartphones, einer VR-Brille oder einer AR-Brille, ein Labeling-Verfahren, besonders einfach durchgeführt werden. Die zu labelnden Objekte werden vorzugweise mit Hilfe eines erweiterten Realitätsverfahrens als entsprechende 3D-Modelle im 3D-Raum ermittelt und vorzugsweise auf einer Anzeigeeinheit des mobilen Geräts graphisch dargestellt.The specified method for assigning at least one object feature to at least a partial set of points of a 3D point cloud thus enables simple labeling of objects that are contained in 3D point clouds. For data that was recorded with the help of ADAS sensors, a labeling process can be carried out particularly easily with the help of a mobile device, for example a tablet computer, a smartphone, VR glasses or AR glasses. The objects to be labeled are preferably determined with the aid of an extended reality method as corresponding 3D models in 3D space and are preferably represented graphically on a display unit of the mobile device.

Im Stand der Technik werden zum Labelling von Objekten in 3D-Punktwolken Daten mit Hilfe von Softwaretools im Computer bearbeitet. Diese Softwaretools erlauben zwar eine Auswahl und Bearbeitung der Daten für ein 3D-Labelling, jedoch ist die Bedienung sehr umständlich und nicht benutzerfreundlich, da mit einer Vielzahl von Bewegungen einer Maus und/oder eine besondere Kombination von Computertastatur und Maus die zu labelnden Objekte ausgewählt werden müssen und zum Navigieren in der 3D-Punktwolke umständliche Eingaben erforderlich sind. Bei der beschriebenen Ausführungsform hingegen werden die zu labelnden 3D-Obekte einer in oder an einem Fahrzeug montierten Sensoreinheit als Daten einer 3D-Punktwolke erfasst. Die Daten der 3D-Punktwolke können in einem Speicherbereich eines Servers oder Computer gespeichert werden und dann auf ein mobiles Gerät heruntergeladen werden. Das mobile Gerät erlaubt die Darstellung der 3D-Punktwolkedaten in einer erweiterten Realität. Diese Darstellung ist ortsfest. Das bedeutet, alle Objekte, die in der 3D-Punktwolke vorhanden sind, haben eine feste Position und können sich nicht mehr ändern bzw. nicht mehr bewegen.In the prior art, data is processed in the computer with the aid of software tools for the labeling of objects in 3D point clouds. Although these software tools allow the data to be selected and processed for 3D labeling, operation is very cumbersome and not user-friendly, since the objects to be labeled are selected with a large number of movements of a mouse and / or a special combination of computer keyboard and mouse and cumbersome entries are required to navigate in the 3D point cloud. In the embodiment described, however, the 3D objects to be labeled from a sensor unit mounted in or on a vehicle are recorded as data from a 3D point cloud. The data of the 3D point cloud can be stored in a storage area of a server or computer and then downloaded to a mobile device. The mobile device enables the representation of the 3D point cloud data in an augmented reality. This representation is stationary. This means that all objects that are present in the 3D point cloud have a fixed position and can no longer change or move.

Ein Nutzer kann die Objekte, die im Koordinatensystem der erweiterten Realität ortsfest sind, durch Bewegung des mobilen Gerätes untersuchen. Z.B. kann der Nutzer entsprechende Objekte sowie Teile von Objekten in der Darstellung vergrößern, verkleinern oder die Objekte rotieren lassen bzw. den Betrachtungswinkel auf die Objekte einfach ändern.A user can examine the objects that are stationary in the coordinate system of augmented reality by moving the mobile device. E.g. the user can enlarge or reduce the corresponding objects and parts of objects in the display or rotate the objects or simply change the viewing angle on the objects.

Wenn ein Nutzer mit Hilfe eines auf dem mobilen Gerät angezeigten Bildes ein Objekt, wie z.B. ein Fahrzeug, einen Fußgänger oder einen Radfahrer identifiziert hat, kann er dem Objekt ein Objektmerkmal zuordnen, d.h. das Objekt labeln. Dies kann über eine geeignete Eingabe, wie einer Spracheingabe, der Auswahl aus einer Vorschlagliste, einer Texteingabe usw. erfolgen.When a user uses an image displayed on the mobile device to find an object, such as has identified a vehicle, a pedestrian or a cyclist, he can assign an object feature to the object, i.e. label the object. This can be done via a suitable input, such as a voice input, the selection from a list of suggestions, a text input, etc.

Für unterschiedliche mobile Geräte ergeben sich unterschiedliche Vorteile bei der Navigation durch die 3D-Punktwolke sowie bei der Auswahl von Objekten bzw. objektzugeordneten Teilpunktmengen.For different mobile devices there are different advantages when navigating through the 3D point cloud and when selecting objects or object-assigned subsets of points.

Wird als mobiles Gerät ein Tablet-Computer oder ein Smartphone mit erweiterten Realitätsfunktionen (AR-Funktion) verwendet, kann das zu labelnde Objekt durch eine Bewegung des mobilen Geräts entlang der X-, Y- oder Z-Achse untersucht werden, wobei durch die Bewegung des mobilen Geräts der Blickwinkel auf das Objekt einfach geändert werden kann. Hierdurch kann mit Hilfe des mobilen Geräts eine Navigation durch die 3D-Punktwolke besonders einfach erfolgen, indem insbesondere Lage- und/oder Beschleunigungssensoren des Smartphones oder Tablet-Computers genutzt werden. Z.B. kann der Nutzer mit einer Bewegung des Tablet-Computers oder Smartphones vor- oder rückwärts entlang der X-Achse im Raum der Nutzer das Objekt verkleinern bzw. vergrößern. Bei einer Bewegung des mobilen Geräts entlang der Y- oder Z-Achse kann der Nutzer das Objekt aus einem anderen Blickwinkel untersuchen. Die Auswahl des zu labelnden Objekts kann durch eine Betätigung einer Taste des mobilen Geräts, insbesondere über den Touchscreen des mobilen Geräts, erfolgen. Alternativ kann die Auswahl des zu labelnden Objekts mittels einer Handgeste und/oder einer Fingergeste des Nutzers im 3D-Raum erfolgen. Gesten können insbesondre mit Hilfe einer Kamera oder mit Hilfe eines Sensorhandschuhs erfasst werden.If a tablet computer or a smartphone with extended reality functions (AR function) is used as the mobile device, the object to be labeled can be examined by moving the mobile device along the X, Y or Z axis, whereby the movement of the mobile device, the angle of view of the object can be easily changed. In this way, navigation through the 3D point cloud can take place particularly easily with the aid of the mobile device, in particular by using position and / or acceleration sensors of the smartphone or tablet computer. E.g. the user can reduce or enlarge the object in the user's space with a movement of the tablet computer or smartphone forwards or backwards along the X-axis. When moving the mobile device along the Y or Z axis, the user can examine the object from a different angle. The object to be labeled can be selected by actuating a button on the mobile device, in particular via the touchscreen of the mobile device. Alternatively, the object to be labeled can be selected by means of a hand gesture and / or a finger gesture by the user in 3D space. Gestures can in particular be recorded with the aid of a camera or with the aid of a sensor glove.

Zu einer Objektauswahl kann der Nutzer auch eine sogenannte Bounding Box um das ausgewählte Objekt herum einfügen, insbesondere zeichnen oder bereitgestellte Boxen platzieren und erforderlichenfalls in der Größe anpassen. Eine Bounding Box kann auch dadurch erzeugt werden, dass der Benutzer eine Bewegung mit dem gesamten mobilen Gerät um das ausgewählte Objekt herum ausführt, d.h. er navigiert so durch die 3D-Punktwolke, dass er das Objekt von allen Seiten in der 3D-Punktwolke betrachtet, indem er sich im virtuellen Raum der 3D-Punktwolke um das betreffende Objekt herumbewegt.For an object selection, the user can also insert a so-called bounding box around the selected object, in particular draw or place provided boxes and, if necessary, adjust the size. A bounding box can also be created by the user executing a movement with the entire mobile device around the selected object, i.e. navigating through the 3D point cloud in such a way that he sees the object from all sides in the 3D point cloud, by moving around the object in question in the virtual space of the 3D point cloud.

Eine Bounding Box kann alternativ oder zusätzlich auch mit Hand- und/oder Fingergesten des Nutzers im 3D-Raum eingefügt, insbesondere gezeichnet, werden.As an alternative or in addition, a bounding box can also be inserted, in particular drawn, in 3D space with hand and / or finger gestures by the user.

Falls das mobile Gerät eine AR-Brille oder eine VR-Brille ist, kann der Nutzer über Gestensteuerung mit der AR-Darstellung bzw. VR-Darstellung in der 3D-Punktwolke navigieren und mit der 3D-Punktwolke interagieren, um Objekte auszuwählen und zu labeln. Die so gelabelten Daten können als Trainingsdaten für neuronale Netze oder Deep Learning-Methoden verwendet werden. Es ist auch möglich, die gelabelten Daten als Referenzdaten für die Validierung von Sensoren, insbesondere von Radar, -LiDAR- und Kamerasensoren, zu nutzen.If the mobile device is AR glasses or VR glasses, the user can use gesture control to navigate with the AR display or VR display in the 3D point cloud and interact with the 3D point cloud in order to select and label objects . The data labeled in this way can be used as training data for neural networks or deep learning methods. It is also possible to use the labeled data as reference data for the validation of sensors, especially radar, LiDAR and camera sensors.

BezugszeichenlisteList of reference symbols

10, 28, 30, 40, 5010, 28, 30, 40, 50: Bildimage
12, 14, 1612, 14, 16: Objektobject
18, 20, 2218, 20, 22: 3D-Modell bzw. Bounding Box3D model or bounding box
Y, Y, ZY, Y, Z: KoordinatenachsenCoordinate axes
S10 bis S22S10 to S22: VerfahrensschritteProcedural steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 20150062123 A1 [0003]
US 20160358383 A1 [0004]
WO 2018/07109 A1 [0005]

Claims

Method for assigning at least one object feature to at least one sub-point set of a 3D point cloud, in which the data of the 3D point cloud is processed on a mobile device with the aid of an extended reality method and an image (10, 30, 40, 50) of a region of the 3D point cloud is output on a display unit of the mobile device; With the help of an extended reality method based on the data of the 3D point cloud, a 3D model (18, 20, 22) of at least one object (12, 14, 16) is generated and a partial set of 3D points assigned to the object (12, 14, 16) -Point cloud is determined; or a sub-point set of the 3D point cloud is selected with the aid of an input means of the mobile device and classified as an object (12, 14, 16) by the selection; at least one sub-point set assigned to an object (12, 14, 16) is selected; and in which at least one object feature is assigned to the at least one selected sub-point set.

Procedure according to Claim 1 , characterized in that navigation within the 3D point cloud takes place with the aid of the mobile device, the position and / or the viewing angle of the image (10, 30, 40, 50) displayed on the display unit being changed by the navigation.

Procedure according to Claim 2 , characterized in that input means for navigation, in particular movement sensors, preferably acceleration sensors, and / or position sensors, are provided.

Method according to one of the preceding claims, characterized in that the at least one sub-point set is selected with the aid of an input means of the mobile device, preferably by introducing a box (18, 20, 22) delimiting the sub-point set into the displayed image.

Method according to one of the preceding claims, characterized in that the at least one selected sub-point set at least one object feature by an input with the help of an input means, preferably by voice input, by a hand movement detected by at least one sensor glove, by selection from a list displayed on the display unit and / or by entering text via a keyboard, preferably via a screen keyboard, of the mobile device.

Method according to one of the preceding claims, characterized in that at least one sub-point set assigned to an object by an input with the help of an input means, preferably by voice input, by a hand movement detected by at least one sensor glove, by selection from a list displayed on the display unit and / or is selected by entering text via a keyboard, preferably via a screen keyboard, of the mobile device.

Method according to one of the preceding claims, characterized in that the 3D model is displayed as an image, preferably together with a graphic representation of the area of the 3D point cloud, on the display unit of the mobile device.

Method according to one of the preceding claims, characterized in that a 3D model is determined for a plurality of partial point sets each assigned to an object.

Method according to one of the preceding claims, characterized in that the subset of points is a subset of the points of the 3D point cloud, which preferably only contains points of an object and, if applicable, areas adjacent to the object in which there is no further object (12, 14, 16) located, include.

Method according to one of the preceding claims, characterized in that a sub-point set is selected by a geometric body, in particular a cuboid or a cylinder, and / or in the displayed image with the aid of a geometric body, in particular a cuboid (20, 22) or is characterized by a cylinder (18), with a selection of the respective object (12, 14, 16) preferably the color of the geometric body (18) is changed.

Method according to one of the preceding claims, characterized in that the mobile device is a smartphone, a tablet computer, VR glasses with input sensors assigned to the VR glasses, in particular position, attitude and / or acceleration sensors, and / or an AR -Glasses with input sensors assigned to the AR glasses, in particular position, attitude and / or acceleration sensors.

Method according to one of the preceding claims, characterized in that the data of the 3D point cloud is determined and stored with the aid of a sensor unit of a vehicle, in particular with the aid of a 3D scanner or with the aid of a LiDAR sensor, preferably while the vehicle is in motion the stored data are transferred to the mobile device and that the assignment of the object feature to the selected partial point set takes place independently of the time and location of the determination of the data of the 3D point cloud.

Method according to one of the preceding claims, characterized in that the image section of the displayed image (10, 30, 40, 50) is carried out by an input with the aid of input means of the mobile device, preferably by voice input, by a hand movement detected by at least one sensor glove Selection from a list displayed on the display unit and / or by entering text via a keyboard, preferably via a screen keyboard, of the mobile device can be changed, in particular enlarged or reduced.

Device according to one of the preceding claims, characterized in that the input takes place with the aid of the input means of the mobile device by detecting a movement of the mobile device in space.

Mobile device with a display unit, at least one input unit and a data processing unit which is designed and programmed to carry out a method according to one of the preceding claims.