DE102018218611B4 - Method and computing device for generating a three-dimensional CAD model - Google Patents

Method and computing device for generating a three-dimensional CAD model Download PDF

Info

Publication number
DE102018218611B4
DE102018218611B4 DE102018218611.1A DE102018218611A DE102018218611B4 DE 102018218611 B4 DE102018218611 B4 DE 102018218611B4 DE 102018218611 A DE102018218611 A DE 102018218611A DE 102018218611 B4 DE102018218611 B4 DE 102018218611B4
Authority
DE
Germany
Prior art keywords
computing device
image
points
dimensional cad
cad model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018218611.1A
Other languages
German (de)
Other versions
DE102018218611A1 (en
Inventor
Andre Bongartz
Marco Kern
Müjde Nalbant
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102018218611.1A priority Critical patent/DE102018218611B4/en
Publication of DE102018218611A1 publication Critical patent/DE102018218611A1/en
Application granted granted Critical
Publication of DE102018218611B4 publication Critical patent/DE102018218611B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

Verfahren zum Erzeugen eines dreidimensionalen CAD-Modells (28) wenigstens eines realen Objekts (10), bei welchem mittels einer Scaneinrichtung (12) eine dreidimensionale Punktewolke (16) eines das wenigstens eine reale Objekt (10) enthaltenden Raums (18) erstellt wird,bei welchem mittels zumindest einer Kamera (20, 22) wenigstens ein Bild (24) aufgenommen wird, welches zumindest einen das wenigstens eine reale Objekt (10) enthaltenden Teilbereich des Raums (18) umfasst, wobei mittels einer Recheneinrichtung (26) Bildpunkte (32) des wenigstens einen Bilds (24) und Messpunkte (30) der Punktewolke (16) auf eine Übereinstimmung hin untersucht werden, und bei welchem die Recheneinrichtung (26) zum Erzeugen des dreidimensionalen CAD-Modells (28) wenigstens einen der Messpunkte (30) der Punktewolke (16) verwendet, für welchen die Recheneinrichtung (26) die Übereinstimmung mit einem Bildpunkt (32) des wenigstens einen Bilds (24) festgestellt hat,dadurch gekennzeichnet, dasszum Feststellen der Übereinstimmung ein jeweiliger Farbwert des Bildpunkts (32) mit einem jeweiligen Messpunktfarbwert verglichen wird, wobei bei einem Unterschreiten eines Schwellenwerts einer Abweichung der Farbwerte voneinander von der Recheneinrichtung (26) auf ein Vorhandensein der Übereinstimmung geschlossen wird.Method for generating a three-dimensional CAD model (28) of at least one real object (10), in which a three-dimensional point cloud (16) of a space (18) containing the at least one real object (10) is created by means of a scanning device (12), in which at least one image (24) is recorded by means of at least one camera (20, 22), which comprises at least one partial area of the room (18) containing the at least one real object (10), with image points (32 ) of the at least one image (24) and measurement points (30) of the point cloud (16) are examined for a match, and in which the computing device (26) for generating the three-dimensional CAD model (28) at least one of the measurement points (30) of the point cloud (16) is used, for which the computing device (26) has determined the match with a pixel (32) of the at least one image (24), characterized in that for determining the Match a respective color value of the pixel (32) is compared with a respective measurement point color value, wherein if a threshold value of a deviation of the color values from each other is concluded by the computing device (26) on the existence of the agreement.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen eines dreidimensionalen CAD-Modells wenigstens eines realen Objekts, bei welchem mittels einer Scaneinrichtung eine dreidimensionale Punktewolke eines das wenigstens eine reale Objekt enthaltenden Raums erstellt wird. Des Weiteren betrifft die Erfindung eine Recheneinrichtung zum Erzeugen eines dreidimensionalen CAD-Modells.The invention relates to a method for generating a three-dimensional CAD model of at least one real object, in which a three-dimensional point cloud of a space containing the at least one real object is created by means of a scanning device. Furthermore, the invention relates to a computing device for generating a three-dimensional CAD model.

Die JP 2005 215 917 A beschreibt ein Verfahren, bei welchem dreidimensionale Punktwolkendaten eines Objekts mittels eines Laserscanners erfasst werden. Mittels zweier Kameras werden zweidimensionale Farbbilddaten des Objekts erhalten. Eine Assoziierungseinheit assoziiert Punktwolkendaten mit den digitalen Fotodaten. Drei oder mehr Punkte der Farbbilddaten werden ausgewählt und basierend auf den Punktwolkendaten mit dreidimensionalen Positionsinformationen versehen. Basierend auf einer relativen Positionsbeziehung und den dreidimensionalen Positionsinformationen an den ausgewählten Punkten werden mittels der Assoziierungseinheit die Farbbilddaten zu den Daten jedes Punkts der Punktwolke hinzugefügt und so dreidimensionale Farbbilddaten für eine Konstruktionszeichnung geschaffen.the JP 2005 215 917 A describes a method in which three-dimensional point cloud data of an object is captured using a laser scanner. Two-dimensional color image data of the object are obtained by means of two cameras. An association unit associates point cloud data with the digital photo data. Three or more points of the color image data are selected and given three-dimensional position information based on the point cloud data. Based on a relative positional relationship and the three-dimensional positional information at the selected points, the association unit adds the color image data to the data of each point of the point cloud, thereby creating three-dimensional color image data for a design drawing.

Die US 2016 / 0 314 593 A1 und die US 2008 / 0 075 326 A1 beschreiben Verfahren, bei welchen mittels eines Laserscanners erfasste Punktwolkendaten eines Objekts mit Bilddaten des Objekts ergänzt werden, welche mittels wenigstens einer Digitalkamera erfasst werden.the U.S. 2016/0 314 593 A1 and the U.S. 2008/0 075 326 A1 describe methods in which point cloud data of an object captured by means of a laser scanner are supplemented with image data of the object, which are captured by at least one digital camera.

Beispielsweise für Planungszwecke ist es wünschenswert, von einem Raum wie etwa einer Produktionshalle zur Fertigung von Kraftfahrzeugen sämtliche Objekte in der Halle als dreidimensionale CAD-Modelle verfügbar zu haben. Um dies zu erreichen, kann vorgesehen sein, mittels einer Scaneinrichtung einen 3D-Scan der Halle oder eines derartigen Raums mit den sich darin befindenden Objekten vorzunehmen. Die Scaneinrichtung liefert dann eine dreidimensionale Punktewolke mit einer Vielzahl von Messpunkten. Des Weiteren können von den Objekten in der Halle Bilder beziehungsweise Fotos angefertigt werden. Um die auf diese Weise erfassten Daten in einem weiteren Prozess verwenden zu können, müssen bisher die gewünschten Objekte als dreidimensionale CAD-Modelle per Hand nachkonstruiert werden. Hierfür kann ein CAD-Zeichner beziehungsweise CAD-Konstrukteur die Messpunkte der dreidimensionalen Punktewolke mit den Fotos vergleichen. Dann wird basierend auf den Messpunkten aus der Punktewolke das dreidimensionale CAD-Modell von dem Zeichner oder Konstrukteur per Hand erstellt.For planning purposes, for example, it is desirable to have all the objects in the hall available as three-dimensional CAD models from a room such as a production hall for the manufacture of motor vehicles. In order to achieve this, it can be provided that a 3D scan of the hall or of such a room with the objects located therein is carried out by means of a scanning device. The scanning device then supplies a three-dimensional cloud of points with a large number of measuring points. Furthermore, pictures or photos can be taken of the objects in the hall. In order to be able to use the data recorded in this way in a further process, the desired objects previously had to be reconstructed by hand as three-dimensional CAD models. For this purpose, a CAD draftsman or CAD designer can compare the measuring points of the three-dimensional point cloud with the photos. Then, based on the measurement points from the point cloud, the three-dimensional CAD model is created by hand by the draftsman or designer.

Als nachteilig ist hierbei der Umstand anzusehen, dass alle bei dem Scan erfassten Objekte mithilfe von Menschen erkannt und dann in einem 3D-CAD-Programm nachkonstruiert werden müssen. Dies ist mit einem extrem hohen Aufwand verbunden. Folglich ist die Erstellung eines aktuellen dreidimensionalen CAD-Abbilds etwa einer Produktionsumgebung sehr zeitaufwendig und kostenintensiv.A disadvantage here is the fact that all objects detected during the scan must be recognized with the help of humans and then reconstructed in a 3D CAD program. This is associated with an extremely high effort. Consequently, the creation of an up-to-date three-dimensional CAD image of a production environment, for example, is very time-consuming and cost-intensive.

Die EP 3 211 550 A1 beschreibt ein Verfahren zur Herstellung eines 3D-CAD-Modells, bei welchem Geometriedaten eines Werkstückrohteils erfasst werden. Die Messdaten können hierbei optisch oder taktil von der Realgeometrie des Werkstückrohteils aufgenommen werden. Dann wird ein Ursprungs-CAD-Modell des Bauteils herangezogen. Durch Import der gemessenen Geometrie des Werkstückrohteils wird das Ursprungs-CAD-Modell derart in seiner Form angepasst, dass das angepasste CAD-Modell durch den Umriss des Werkstückrohteils vollständig umfasst wird. Auf diese Weise wird ein modifiziertes 3D-CAD-Modell erhalten.the EP 3 211 550 A1 describes a method for producing a 3D CAD model, in which geometric data of a workpiece blank are recorded. The measurement data can be recorded optically or tactilely from the real geometry of the workpiece blank. Then an original CAD model of the component is used. By importing the measured geometry of the workpiece blank, the shape of the original CAD model is adapted in such a way that the adapted CAD model is completely encompassed by the outline of the workpiece blank. In this way a modified 3D CAD model is obtained.

Ein derartiges Verfahren ist lediglich dann anwendbar, wenn Werkstückrohteile zur Verfügung stehen, welche gemäß der EP 3 211 550 A1 durch Auftrag von neuem Material auf ein beschädigtes Bauteil erhältlich sind. Zum Herstellen von dreidimensionalen CAD-Modellen einer Produktionsumgebung ist dieses Verfahren jedoch ungeeignet.Such a method is only applicable if workpiece blanks are available, which according to the EP 3 211 550 A1 obtained by applying new material to a damaged component. However, this method is unsuitable for producing three-dimensional CAD models of a production environment.

Aufgabe der vorliegenden Erfindung ist es daher, ein vereinfachtes Verfahren der eingangs genannten Art und eine zur Durchführung dieses vereinfachten Verfahrens ausgebildete Recheneinrichtung zu schaffen.The object of the present invention is therefore to create a simplified method of the type mentioned at the outset and a computing device designed to carry out this simplified method.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und durch eine Recheneinrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.This object is achieved by a method having the features of patent claim 1 and by a computing device having the features of patent claim 9 . Advantageous configurations with expedient developments of the invention are specified in the dependent patent claims.

Bei dem erfindungsgemäßen Verfahren zum Erzeugen eines dreidimensionalen CAD-Modells wenigstens eines realen Objekts wird mittels einer Scanneinrichtung eine dreidimensionale Punktewolke eines das wenigstens eine reale Objekt enthaltenden Raums erstellt. Mittels zumindest einer Kamera wird wenigstens ein Bild aufgenommen, welches zumindest einen das wenigstens eine reale Objekt enthaltenden Teilbereich des Raums umfasst. Mittels einer Recheneinrichtung werden Bildpunkte des wenigstens einen Bilds und Messpunkte der Punktewolke auf eine Übereinstimmung hin untersucht. Die Recheneinrichtung verwendet zum Erzeugen des dreidimensionalen CAD-Modells wenigstens einen der Messpunkte der Punktewolke, für welchen die Recheneinrichtung die Übereinstimmung mit einem Bildpunkt des wenigstens einen Bilds festgestellt hat.In the method according to the invention for generating a three-dimensional CAD model of at least one real object, a three-dimensional point cloud of a space containing the at least one real object is created by means of a scanning device. At least one image is recorded by means of at least one camera, which includes at least one partial area of the room containing the at least one real object. Pixels of the at least one image and measurement points of the point cloud are examined for a match by means of a computing device. The computing device used to create the three-dimensional CAD model at least one of the measuring points of the cloud of points for which the computing device has determined that it corresponds to a pixel of the at least one image.

Durch die Kombination der Messpunkte aus der dreidimensionalen Punktewolke, welche eine Information bezüglich der Position des dreidimensionalen CAD-Modells im Raum beinhalten, mit den Bildpunkten des wenigstens einen Bild können die gewünschten dreidimensionalen CAD-Modelle beziehungsweise CAD-Objekte automatisch erstellt werden. Es ist also nicht mehr erforderlich, dass ein Vergleich von mittels zumindest einer Kamera aufgenommenen Bildern mit den Messpunkten der dreidimensionalen Punktewolke durch einen Menschen wie etwa einen CAD-Konstrukteur vorgenommen wird. Vielmehr kann die Recheneinrichtung aus den Messpunkten der Punktewolke unter Heranziehung der Bildpunkte des wenigstens einen Bilds das wenigstens eine dreidimensionale CAD-Modell automatisch erzeugen. Dementsprechend ist ein vereinfachtes Verfahren zum Erzeugen eines dreidimensionalen CAD-Modells geschaffen. Die dreidimensionalen CAD-Modelle können dann für weitere Projekte, beispielsweise Planungsprojekte, weiterverwendet werden.The desired three-dimensional CAD models or CAD objects can be created automatically by combining the measurement points from the three-dimensional point cloud, which contain information regarding the position of the three-dimensional CAD model in space, with the pixels of the at least one image. It is therefore no longer necessary for a person, such as a CAD designer, to compare images recorded by means of at least one camera with the measuring points of the three-dimensional point cloud. Rather, the computing device can automatically generate the at least one three-dimensional CAD model from the measurement points of the point cloud using the image points of the at least one image. Accordingly, a simplified method for creating a three-dimensional CAD model is provided. The three-dimensional CAD models can then be used for other projects, such as planning projects.

Erfindungsgemäß wird zum Feststellen der Übereinstimmung ein jeweiliger Farbwert des Bildpunkts mit einem jeweiligen Farbwert des Messpunkts oder Messpunktfarbwert verglichen, wobei bei einem Unterschreiten eines Schwellenwerts einer Abweichung der Farbwerte voneinander von der Recheneinrichtung auf ein Vorhandensein der Übereinstimmung geschlossen wird. Auf diese Weise kann eine Übereinstimmung von Messpunkten der Punktewolle mit Bildpunkten des wenigstens einen Bilds besonders einfach von der Recheneinrichtung herausgefunden werden.According to the invention, a respective color value of the pixel is compared with a respective color value of the measuring point or measuring point color value to determine the match, wherein if the color values deviate below a threshold value from one another, the computing device concludes that there is a match. In this way, a match between measurement points of the point wool and pixels of the at least one image can be found by the computing device in a particularly simple manner.

Wenn die Scaneinrichtung wenigstens einen Laserscanner umfasst, welcher die Intensität des von dem realen Objekt reflektierten Laserstrahls in Graustufen erfasst, so kann ein jeweiliger Graustufenwert des Messpunkts mit einem Grauwert des Bildpunkts verglichen werden, um eine Übereinstimmung festzustellen.If the scanning device includes at least one laser scanner that detects the intensity of the laser beam reflected by the real object in gray scales, a respective gray scale value of the measurement point can be compared with a gray value of the pixel to determine a match.

Insbesondere wenn wenigstens zwei Kameras wenigstens zwei Bilder aus unterschiedlichen Perspektiven aufnehmen, kann über die Kenntnis des Standorts der Kameras auch eine Tiefeninformation beziehungsweise Rauminformation der Bildpunkte aus den mit den Kameras aufgenommenen Bildern ermittelt werden. Auf diese Weise lassen sich Messpunkte der Punktewolke und Bildpunkte der Bilder, welche auf die Übereinstimmung hin untersucht werden sollen, verbessert eingrenzen.In particular, if at least two cameras record at least two images from different perspectives, knowledge of the location of the cameras can also be used to determine depth information or spatial information of the pixels from the images recorded with the cameras. In this way, measurement points of the point cloud and image points of the images that are to be examined for consistency can be delimited in an improved manner.

Vorzugsweise werden von der Recheneinrichtung eine Mehrzahl von Messpunkten der Punktewolle und/oder eine Mehrzahl von Bildpunkten des wenigstens einen Bilds miteinander verknüpft, für welche die Recheneinrichtung die Übereinstimmung festgestellt hat. Hierfür kann insbesondere wenigstens ein dem maschinellen Lernen beziehungsweise der künstlichen Intelligenz zuzurechnender Algorithmus von der Recheneinrichtung angewendet werden. Insbesondere die zuvor im Raum nicht verknüpften Informationen der Messpunkte der Punktewolke können mittels eines solchen Algorithmus miteinander verknüpft werden. Und basierend auf der Verknüpfung der Punkte ist es möglich, Objekte zu erkennen beziehungsweise zu klassifizieren. Dies erleichtert das anschließende Erzeugen des dreidimensionalen CAD-Modells.A plurality of measuring points of the point wool and/or a plurality of pixels of the at least one image are preferably linked together by the computing device, for which the computing device has determined that they match. For this purpose, in particular at least one algorithm attributable to machine learning or artificial intelligence can be used by the computing device. In particular, the information of the measuring points of the point cloud that was not previously linked in space can be linked to one another by means of such an algorithm. And based on the linking of the points, it is possible to recognize or classify objects. This facilitates the subsequent creation of the three-dimensional CAD model.

Zusätzlich oder alternativ können durch die Recheneinrichtung Messpunkte der dreidimensionalen Punktewolke miteinander verglichen werden, um Übereinstimmungen zwischen den Messpunkten der Punktewolke zu ermitteln. Hierbei können insbesondere Farbwerte und/oder Graustufenwerte der Messpunkte berücksichtigt werden und/oder Abstände zwischen den Messpunkten. Wenn nämlich ein sehr großer Abstand zwischen zwei Messpunkten vorliegt, welche übereinstimmende Farbwerte aufweisen, so kann davon ausgegangen werden, dass die Messpunkte unterschiedlichen realen Objekten zuzuordnen sind. Bei einer ausreichenden Übereinstimmung benachbarter Messpunkte miteinander und insbesondere plausiblen Abständen zwischen den Messpunkten können jedoch die Messpunkte zu einer Gruppe zusammengefasst werden. Eine solche Gruppe von Messpunkten kann mit einem angelernten virtuellen Objekt verglichen werden, um die Gruppe der Messpunkte als Objekt zu identifizieren. Das Ergebnis dieses Vergleichs kann wiederum mit Bildpunkten des wenigstens einen Bilds verglichen werden, um die Korrektheit des Ergebnisses zu verifizieren.Additionally or alternatively, the computing device can compare measuring points of the three-dimensional point cloud with one another in order to determine matches between the measuring points of the point cloud. In particular, color values and/or gray scale values of the measurement points and/or distances between the measurement points can be taken into account here. If there is a very large distance between two measurement points that have matching color values, it can be assumed that the measurement points can be assigned to different real objects. If there is sufficient agreement between adjacent measuring points and, in particular, if the distances between the measuring points are plausible, the measuring points can be combined into a group. Such a group of measuring points can be compared with a trained virtual object in order to identify the group of measuring points as an object. The result of this comparison can in turn be compared with pixels of the at least one image in order to verify the correctness of the result.

Vorzugsweise werden durch die Recheneinrichtung die miteinander verknüpften Messpunkte und/oder die miteinander verknüpften Bildpunkte einem virtuellen Objekt zugeordnet. So kann festgestellt werden, welche realen Objekte sich wo in dem Raum befinden.The measuring points linked to one another and/or the pixels linked to one another are preferably assigned to a virtual object by the computing device. In this way it can be determined which real objects are located where in the room.

Vorzugsweise wird das virtuelle Objekt durch die Recheneinrichtung identifiziert, indem die Recheneinrichtung die miteinander verknüpften Messpunkte und/oder Bildpunkte mit zumindest einem Bereich angelernter virtueller Objekte vergleicht. Bei den angelernten virtuellen Objekten kann es sich um virtuelle dreidimensionale Objekte oder um virtuelle Objekte in Bildern handeln. Insbesondere der Vergleich von miteinander verknüpften Bildpunkten mit angelernten virtuellen Objekten aus Bildern ist besonders zuverlässig. Denn die mittels der wenigstens einen Kamera erfassten Bildpunkte des wenigstens einen Bilds liegen enger beieinander als die mittels der Scaneinrichtung erstellten Messpunkte der dreidimensionalen Punktewolke. Es ist jedoch auch möglich, zur Identifizierung des virtuellen Objekts die verknüpften Messpunkte der dreidimensionalen Punktewolke mit angelernten virtuellen 3D-Objekten zu vergleichen.The virtual object is preferably identified by the computing device in that the computing device compares the measurement points and/or pixels that are linked to one another with at least one area of learned virtual objects. The learned virtual objects can be virtual three-dimensional objects or virtual objects in images. In particular, the comparison of linked pixels with taught-in virtual objects images is particularly reliable. This is because the pixels of the at least one image captured by the at least one camera are closer together than the measuring points of the three-dimensional point cloud created by the scanning device. However, it is also possible to compare the linked measuring points of the three-dimensional point cloud with virtual 3D objects that have been taught in to identify the virtual object.

Durch das Zuordnen der miteinander verknüpften Messpunkte und/oder Bildpunkte zu dem virtuellen Objekt ist der Recheneinrichtung bekannt, wo in dem Raum sich welches reale Objekt befindet. Diese Information kann dann für ein realitätsgetreues Erzeugen der dreidimensionalen CAD-Modelle an den richtigen Stellen im Raum genutzt werden.As a result of the assignment of the measurement points and/or pixels linked to one another to the virtual object, the computing device knows where in the room which real object is located. This information can then be used to create the three-dimensional CAD models in the right places in space that are true to reality.

Vorzugsweise wird daher an einer Stelle der Punktewolke, an welcher durch die Recheneinrichtung das virtuelle Objekt lokalisiert wird, mittels der Recheneinrichtung das dreidimensionale CAD-Modell erstellt. Dadurch kann sichergestellt werden, dass sich die erzeugten dreidimensionalen CAD-Modelle an jeweils korrekten Positionen im Raum befinden.The three-dimensional CAD model is therefore preferably created by means of the computing device at a point in the point cloud at which the virtual object is localized by the computing device. In this way it can be ensured that the three-dimensional CAD models that are generated are in the correct positions in space.

Zum Erstellen des dreidimensionalen CAD-Modells können an der Stelle aus Messpunkten der Punktewolke mittels der Recheneinrichtung Polygone gebildet werden, welche zu einer Fläche zusammengesetzt werden. Durch die Recheneinrichtung wird die zusammengesetzte Fläche mit einer korrespondierenden Fläche verglichen, welche aus den verknüpften Bildpunkten des wenigstens einen Bilds gebildet ist. Auf diese Weise kann sichergestellt werden, dass das dreidimensionale CAD-Modell besonders realitätsgetreu die Gestalt des realen Objekts wiedergibt. So erstellte dreidimensionale CAD-Modelle können dann auch wieder zum Vergleichen mit miteinander verknüpften Messpunkten einer weiteren mittels der Scaneinrichtung erstellten dreidimensionalen Punktewolke eingesetzt werden. Dies erleichtert das Zuordnen der miteinander verknüpften Messpunkte zu jeweiligen virtuellen Objekten.In order to create the three-dimensional CAD model, polygons can be formed at the point from measurement points of the point cloud using the computing device, which are combined to form a surface. The arithmetic unit compares the composite area with a corresponding area, which is formed from the linked pixels of the at least one image. In this way it can be ensured that the three-dimensional CAD model reproduces the shape of the real object in a particularly realistic manner. Three-dimensional CAD models created in this way can then also be used again for comparison with measurement points linked to one another in another three-dimensional point cloud created by means of the scanning device. This simplifies the assignment of the measurement points that are linked to one another to the respective virtual objects.

Vorzugsweise wird anhand des Vergleichens der zusammengesetzten Fläche mit der korrespondierenden Fläche wenigstens eine Grenze des dreidimensionalen CAD-Modells bestimmt. Es können also, insbesondere in einem iterativen Prozess, Grenzen des dreidimensionalen CAD-Modells sehr realitätsnah ermittelt werden. Dadurch lässt sich sicherstellen, dass das dreidimensionale CAD-Modell dem realen Objekt besonders weitgehend entspricht.Preferably, at least one boundary of the three-dimensional CAD model is determined by comparing the composite surface to the corresponding surface. It is therefore possible, particularly in an iterative process, to determine the limits of the three-dimensional CAD model very realistically. This ensures that the three-dimensional CAD model corresponds particularly closely to the real object.

Zusätzlich oder alternativ kann mittels der Recheneinrichtung an der Stelle ein dreidimensionales CAD-Modell angeordnet werden, welches durch die Recheneinrichtung aus einer Gruppe von vorbestimmten dreidimensionalen CAD-Modellen ausgewählt wird. Diese Vorgehensweise ist insbesondere dann vorteilhaft, wenn in dem mittels der Scanneinrichtung erfassten Raum lediglich reale Objekte vorhanden sind, welche den vorbestimmten dreidimensionalen CAD-Modellen entsprechen. Denn dann ist das Erzeugen der dreidimensionalen CAD-Modelle an den korrekten Stellen in dem Raum besonders einfach.Additionally or alternatively, a three-dimensional CAD model can be arranged at the location by means of the computing device, which is selected by the computing device from a group of predetermined three-dimensional CAD models. This procedure is particularly advantageous when only real objects that correspond to the predetermined three-dimensional CAD models are present in the space captured by the scanning device. Because then it is particularly easy to generate the three-dimensional CAD models at the correct locations in the room.

Beispielsweise können in der Produktionsumgebung reale Objekte in Form von Regalen, Behältern, Anlagenteilen und dergleichen vorhanden sein, welche einem von einer begrenzten Anzahl von in der Produktionsumgebung verwendeten Typen dieser realen Objekte entsprechen. Dann können diese Typen, beispielsweise Regale eines Typs A und Regale eines Typs B, als vorbestimmte dreidimensionale CAD-Modelle in der Gruppe vorhanden sein, aus welcher die Recheneinrichtung das an der Stelle der Punktewolke zu platzierende dreidimensionale CAD-Modell auswählt.For example, real objects in the form of shelves, containers, plant parts and the like can be present in the production environment, which correspond to one of a limited number of types of these real objects used in the production environment. Then these types, for example type A shelves and type B shelves, can be present as predetermined three-dimensional CAD models in the group from which the computing device selects the three-dimensional CAD model to be placed at the point cloud location.

Diese Vorgehensweise führt zudem zu einer hohen Datenqualität, da das vorbestimmte dreidimensionale CAD-Modell mit allen seinen Eigenschaften verfügbar ist und beispielsweise mit dem an der Stelle lokalisierten virtuellen Objekt überlagert werden kann. Des Weiteren können auf diese Weise auch Fehlstellen beziehungsweise Löcher in der dreidimensionalen Punktewolke und/oder in dem wenigstens einen Bild gefüllt werden. Derartige Löcher können sich ergeben, wenn beim Erstellen der dreidimensionalen Punktewolke mittels der Scaneinrichtung beziehungsweise beim Aufnehmen des wenigstens einen Bilds mit der zumindest einen Kamera ein Teil des realen Objekts durch einen anderen Gegenstand verdeckt wurde.This procedure also leads to high data quality, since the predetermined three-dimensional CAD model is available with all of its properties and can be overlaid with the virtual object located at the location, for example. Furthermore, defects or holes in the three-dimensional cloud of points and/or in the at least one image can also be filled in this way. Such holes can result if part of the real object was covered by another object when creating the three-dimensional point cloud using the scanning device or when recording the at least one image with the at least one camera.

Vorzugsweise wird durch die Recheneinrichtung aus Bildpunkten des wenigstens einen Bilds und/oder aus Messpunkten der Punktewolke zumindest eine Eigenschaft wenigstens eines weiteren realen Objekts ermittelt, welches in dem realen Objekt und/oder an dem realen Objekt angeordnet ist. Bei einem solchen weiteren realen Objekt kann es sich beispielsweise um einen Behälter handeln, welcher in dem realen Objekt in Form eines Regals angeordnet ist. Bei dem Auswählen des vorbestimmten dreidimensionalen CAD-Modells aus der Gruppe wird die zumindest eine Eigenschaft des wenigstens einen weiteren realen Objekts berücksichtigt. Dadurch wird die Auswahl besonders zuverlässig.Preferably, at least one property of at least one further real object, which is arranged in the real object and/or on the real object, is determined by the computing device from pixels of the at least one image and/or from measurement points of the point cloud. Such a further real object can be a container, for example, which is arranged in the real object in the form of a shelf. When selecting the predetermined three-dimensional CAD model from the group, the at least one property of the at least one other real object is taken into account. This makes the selection particularly reliable.

Beispielsweise können nämlich Abmessungen des Behälters aus dem Bild bestimmt werden. Diese Abmessungen des Behälters können darüber Aufschluss geben, in welchem Regaltyp der Behälter aufgenommen ist. Denn ein Behälter mit bestimmten Abmessungen kann beispielsweise lediglich in einem Regaltyp A Platz haben, nicht jedoch in einem weiteren Regaltyp, welcher für diesen Behälter zu klein oder sonstwie nicht geeignet ist. Durch das Berücksichtigen der zumindest einen Eigenschaft des wenigstens einen weiteren realen Objekts kann somit die Genauigkeit bei der Auswahl des dreidimensionalen CAD-Modells aus der Gruppe von vorbestimmten dreidimensionalen CAD-Modellen verbessert werden.Namely, dimensions of the container can be determined from the image, for example. These dimensions of the container can provide information about the type of shelf in which the container is recorded. Because a container with certain dimensions can, for example, only have space in one type of shelf A, but not in another type of shelf, which is too small or otherwise unsuitable for this container. By taking into account the at least one property of the at least one further real object, the accuracy when selecting the three-dimensional CAD model from the group of predetermined three-dimensional CAD models can thus be improved.

Zusätzlich oder alternativ kann durch die Recheneinrichtung bei dem Auswählen des vorbestimmten dreidimensionalen CAD-Modells aus der Gruppe wenigstens eine geometrische Eigenschaft des vorbestimmten dreidimensionalen CAD-Modells berücksichtigt werden. Beispielsweise kann anhand der Größe wenigstens einer Komponente des dreidimensionalen CAD-Modells aus der Gruppe der vorbestimmten dreidimensionalen CAD-Modelle festgestellt werden, dass sich lediglich ein reales Objekt einer bestimmten Größe an der jeweiligen Stelle in dem Raum befinden kann. Auch durch das Berücksichtigen der wenigstens einen geometrischen Eigenschaft des vorbestimmten dreidimensionalen CAD-Modells können somit besonders realistische Ergebnisse mit einer hohen Datenqualität erreicht werden.Additionally or alternatively, at least one geometric property of the predetermined three-dimensional CAD model can be taken into account by the computing device when selecting the predetermined three-dimensional CAD model from the group. For example, based on the size of at least one component of the three-dimensional CAD model from the group of predetermined three-dimensional CAD models, it can be determined that only one real object of a specific size can be located at the respective location in space. Particularly realistic results with a high data quality can thus also be achieved by taking into account the at least one geometric property of the predetermined three-dimensional CAD model.

Die erfindungsgemäße Recheneinrichtung zum Erzeugen eines dreidimensionalen CAD-Modells wenigstens eines realen Objekts ist dazu ausgebildet, Messpunkte einer dreidimensionalen Punktewolke zu verarbeiten, welche mittels einer Scaneinrichtung durch Scannen eines das wenigstens eine reale Objekt enthaltenden Raums erstellbar ist. Die Recheneinrichtung ist dazu ausgebildet, Bildpunkte wenigstens eines mittels zumindest einer Kamera aufgenommenen Bilds zu verarbeiten, wobei das wenigstens eine Bild zumindest einen das wenigstens eine reale Objekt enthaltenden Teilbereich des Raums umfasst. Die Recheneinrichtung ist weiter dazu ausgebildet, die Bildpunkte des wenigstens einen Bilds und die Messpunkte der Punktewolke auf eine Übereinstimmung hin zu untersuchen und zum Erzeugen des dreidimensionalen CAD-Modells wenigstens einen der Messpunkte der Punktewolke zu verwenden, für welchen die Recheneinrichtung die Übereinstimmung mit einem Bildpunkt des wenigstens einen Bilds festgestellt hat. Die Recheneinrichtung ist dazu ausgebildet, zum Feststellen der Übereinstimmung einen jeweiligen Farbwert des Bildpunkts mit einem jeweiligen Messpunktfarbwert zu vergleichen und bei einem Unterschreiten eines Schwellenwerts einer Abweichung der Farbwerte voneinander auf ein Vorhandensein der Übereinstimmung zu schließen. Die Recheneinrichtung ist also zur Durchführung des erfindungsgemäßen Verfahrens angepasst beziehungsweise konfiguriert.The computing device according to the invention for generating a three-dimensional CAD model of at least one real object is designed to process measuring points of a three-dimensional cloud of points, which can be created by means of a scanning device by scanning a space containing the at least one real object. The computing device is designed to process pixels of at least one image recorded by means of at least one camera, the at least one image comprising at least one partial area of the room containing the at least one real object. The computing device is further designed to examine the pixels of the at least one image and the measurement points of the point cloud for a match and to use at least one of the measurement points of the point cloud to generate the three-dimensional CAD model, for which the computing device matches a pixel of the at least one image. The arithmetic unit is designed to compare a respective color value of the pixel with a respective measurement point color value in order to determine the correspondence and to conclude that there is a correspondence if the deviation of the color values falls below a threshold value. The computing device is therefore adapted or configured to carry out the method according to the invention.

Die Recheneinrichtung beziehungsweise ein derartiger Rechner oder Computer weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, wenigstens eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die wenigstens eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The arithmetic unit or such a calculator or computer has a processor unit which is set up to carry out at least one embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller. Furthermore, the processor device can have program code which is set up to carry out the at least one embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Recheneinrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Recheneinrichtung hier nicht noch einmal beschrieben.The invention also includes developments of the computing device according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the computing device according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of features of the described embodiments.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 schematisch das Erstellen einer dreidimensionalen Punktewolke eines realen Objekts mittels einer Scaneinrichtung und das Aufnehmen von Bildern des realen Objekts mittels Kameras; und
  • 2 schematisch einen Ausschnitt der dreidimensionalen Punktewolke, einen Ausschnitt aus einem der mittels der Kameras aufgenommenen Bilder und ein dreidimensionales CAD-Modell, welches durch die Verarbeitung der Messpunkte der Punktewolke und der Bildpunkte der Bilder erhalten wurde.
Exemplary embodiments of the invention are described below. For this shows:
  • 1 schematically the creation of a three-dimensional point cloud of a real object using a scanning device and the recording of images of the real object using cameras; and
  • 2 schematically shows a section of the three-dimensional point cloud, a section from one of the images recorded by the cameras and a three-dimensional CAD model which was obtained by processing the measuring points of the point cloud and the image points of the images.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is also intended to encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments are also due to further already described features of the invention can be supplemented.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols designate elements with the same function.

In 1 ist schematisch ein reales Objekt 10 gezeigt, wie es etwa in einer Produktionsumgebung vorhanden sein kann, in welcher Kraftfahrzeuge gefertigt werden. Als das reale Objekt 10 ist beispielhaft ein Regal gezeigt. In der Produktionsumgebung etwa in Form einer Fertigungshalle befindet sich eine Vielzahl derartiger realer Objekte und die Darstellung des Regals ist lediglich beispielhaft.In 1 a real object 10 is shown schematically, as may be present in a production environment in which motor vehicles are manufactured. A shelf is shown as the real object 10 by way of example. In the production environment, for example in the form of a production hall, there are a large number of such real objects and the display of the shelf is only an example.

Mittels einer Scaneinrichtung 12, welche vorliegend eine Mehrzahl von Laserscannern 14 umfasst, wird eine dreidimensionalen Punktewolke 16 (vergleiche 2) eines Raums 18 erstellt, in welchem sich das reale Objekt 10 befindet. Der Raum 18 enthält also das reale Objekt 10. Vorliegend sind beispielhaft zwei Laserscanner 14 der Scaneinrichtung 12 gezeigt, welche das reale Objekt 10 aus unterschiedlichen Perspektiven mit entsprechenden Laserstrahlen beaufschlagen und das von dem realen Objekt 10 reflektierte Licht erfassen, um die dreidimensionale Punktewolke 16 zu erstellen. Die Scaneinrichtung 12 kann jedoch auch weniger oder mehr als die vorliegend beispielhaft gezeigten zwei Laserscanner 14, insbesondere drei Laserscanner 14 umfassen. Des Weiteren kann vorgesehen sein, dass die dreidimensionale Punktewolke 16 nicht, wie vorliegend beispielhaft gezeigt, optisch, sondern mittels einer taktil arbeitenden Scaneinrichtung 12 erstellt wird.A three-dimensional point cloud 16 (cf 2 ) of a room 18 created in which the real object 10 is located. The space 18 therefore contains the real object 10. Two laser scanners 14 of the scanning device 12 are shown here by way of example, which impinge on the real object 10 from different perspectives with corresponding laser beams and capture the light reflected by the real object 10 in order to form the three-dimensional cloud of points 16 create. However, the scanning device 12 can also include fewer or more than the two laser scanners 14 shown here as an example, in particular three laser scanners 14 . Furthermore, it can be provided that the three-dimensional point cloud 16 is not created optically, as is shown here as an example, but by means of a tactile scanning device 12 .

Vorliegend werden zudem mittels zumindest einer Kamera, beispielsweise mittels einer ersten Kamera 20 und mittels einer zweiten Kamera 22 aus unterschiedlichen Perspektiven, von dem realen Objekt 10 Bilder aufgenommen. Ein Ausschnitt eines solchen Bilds 24 ist in 2 schematisch gezeigt. Das Bild 24 umfasst zumindest einen Teilbereich des Raums 18, in welchem sich das reale Objekt 10 befindet. Für die Aufnahme der Bilder können auch mehr oder weniger als die vorliegend beispielhaft gezeigten zwei Kameras 20, 22 vorgesehen sein. Insbesondere kann der Raum 18, in welchem sich das wenigstens eine reale Objekt 10 befindet, von sechs Kameras 20, 22 erfasst werden.In the present case, images of the real object 10 are also recorded by means of at least one camera, for example by means of a first camera 20 and by means of a second camera 22 from different perspectives. A section of such a picture 24 is in 2 shown schematically. The image 24 includes at least a portion of the space 18 in which the real object 10 is located. More or fewer than the two cameras 20, 22 shown here by way of example can also be provided for recording the images. In particular, the room 18 in which the at least one real object 10 is located can be captured by six cameras 20, 22.

Die dreidimensionale Punktewolke 16 und das wenigstens eine Bild 24 werden einer Recheneinrichtung 26 zugeführt, welche in 1 schematisch dargestellt ist. Die Recheneinrichtung 26 erstellt ein dreidimensionales CAD-Modell 28, welches in 2 gezeigt ist, und welches das reale Objekt 10 nachbildet. Die Recheneinrichtung 26 ermöglicht somit die automatische Erzeugung von dreidimensionalen CAD-Modellen, von welchen in 2 beispielhaft das dreidimensionale CAD-Modell 28 gezeigt ist, basierend auf dem dreidimensionalen Scan der Scaneinrichtung 12 unter Heranziehung der mittels der zumindest einen Kamera 20, 22 aufgenommenen Bilder, von welchen in 2 das Bild 24 beispielhaft gezeigt ist.The three-dimensional cloud of points 16 and the at least one image 24 are fed to a computing device 26, which in 1 is shown schematically. The computing device 26 creates a three-dimensional CAD model 28, which 2 is shown, and which the real object 10 simulates. The computing device 26 thus enables the automatic generation of three-dimensional CAD models, from which 2 the three-dimensional CAD model 28 is shown as an example, based on the three-dimensional scan of the scanning device 12 using the images recorded by the at least one camera 20, 22, of which 2 Figure 24 is shown as an example.

Die Recheneinrichtung 26 kombiniert Farbinformationen und Tiefeninformationen der dreidimensionalen Punktewolke 16 mit Farbschemata in den Bildern. Beispielsweise werden Messpunkte 30 der Punktewolke 16, von welchen in 2 lediglich einige beispielhaft mit einem Bezugszeichen versehen sind, mittels der Recheneinrichtung 26 auf eine Übereinstimmung mit Bildpunkten 32 des Bilds 24 untersucht. Hierfür können beispielsweise die Farbwerte der Messpunkte 30 mit den Farbwerten der Bildpunkte 32 verglichen werden. Die Messpunkte 30 der Punktewolke 16 enthalten eine Tiefeninformation etwa in Form von Koordinaten eines dreidimensionalen Koordinatensystems, welche dem jeweiligen Messpunkt 30 zugeordnet sind. Durch das Vergleichen der Messpunkte 30 mit den Bildpunkten 32 ist es möglich, die im Raum der Punktewolke 16 zunächst nicht miteinander verknüpften Informationen der Punktewolke 16 miteinander zu verknüpfen. Es können also beispielsweise basierend auf einer Übereinstimmung der Farbwerte der Messpunkte 30 mit den Farbwerten der Bildpunkte 32 mehrere Messpunkte 30 der Punktewolke 16 miteinander verknüpft werden. Hierfür kann insbesondere ein Algorithmus von der Recheneinrichtung 26 angewendet werden, welcher der künstlichen Intelligenz beziehungsweise dem maschinellen Lernen zuzurechnen ist.The computing device 26 combines color information and depth information of the three-dimensional point cloud 16 with color schemes in the images. For example, measuring points 30 of the point cloud 16, from which 2 only a few are provided with a reference number by way of example, are examined by means of the computing device 26 for a match with pixels 32 of the image 24 . For this purpose, for example, the color values of the measurement points 30 can be compared with the color values of the pixels 32 . The measuring points 30 of the point cloud 16 contain depth information, for example in the form of coordinates of a three-dimensional coordinate system, which are assigned to the respective measuring point 30 . By comparing the measurement points 30 with the image points 32, it is possible to link together the information in the point cloud 16 that is not initially linked to one another in the space of the point cloud 16 . For example, based on a match between the color values of the measurement points 30 and the color values of the pixels 32, a number of measurement points 30 in the cloud of points 16 can be linked to one another. For this purpose, in particular, an algorithm can be used by the computing device 26, which can be attributed to artificial intelligence or machine learning.

Dank der Verknüpfung der Messpunkte 30 ist es möglich, in der Punktewolke 16 Objekte zu erkennen beziehungsweise zu identifizieren. Diese Objekte können beispielsweise durch Vergleich mit angelernten Objekten klassifiziert werden. Bei diesen angelernten Objekten, welche der Recheneinrichtung 26 zur Verfügung gestellt werden, kann es sich um dreidimensionale virtuelle Objekte oder um virtuelle Objekte in digitalen Bildern wie etwa in dem Bild 24 handeln. Aus den klassifizierten Daten ist es dann möglich, dreidimensionale CAD-Objekte wie etwa das in 2 beispielhaft gezeigte dreidimensionale CAD-Modell 28 zu generieren. Derartige dreidimensionale CAD-Modelle 28 können dann in gängigen CAD-Programmen, also in Programmen des rechnerunterstützten Konstruierens (CAD = computer-aided design) weiterverwendet werden, etwa in Programmen wie Connect, Teamcenter oder CATIA.Thanks to the linking of the measurement points 30, it is possible to recognize or identify objects in the point cloud 16. These objects can be classified, for example, by comparing them with learned objects. These trained objects, which are made available to the computing device 26, can be three-dimensional virtual objects or virtual objects in digital images, such as in the image 24. From the classified data it is then possible to create three-dimensional CAD objects such as the in 2 to generate the three-dimensional CAD model 28 shown as an example. Such three-dimensional CAD models 28 can then be used further in common CAD programs, ie in computer-aided design programs (CAD=computer-aided design), for example in programs such as Connect, Teamcenter or CATIA.

Zur Erstellung der dreidimensionalen CAD-Modelle wie etwa dem in 2 gezeigten Modell 28 können unterschiedliche Verfahren genutzt oder kombiniert werden, insbesondere um im Ergebnis eine besonders hohe Datenqualität zu erreichen. Einerseits können zur Objekterkennung die Messpunkte 30 der dreidimensionalen Punktewolke 16 und die Bildpunkte 32 des wenigstens einen Bilds 24 herangezogen werden, wobei anschließend einem erkannten Objekt zugeordnete Messpunkte 30 zu Polygonen wie etwa Dreiecken verbunden werden. Diese Dreiecke werden dann zu einer Fläche zusammengesetzt, welche wenigstens einer Komponente des dreidimensionalen CAD-Modells 28 entspricht. Beispielsweise können durch derartige Flächen horizontal verlaufende Holme 34 des Regals sowie vertikal verlaufende Holme 36 des Regals, die Holme 34 miteinander verbindende Streben 38 und dergleichen gebildet werden.To create the three-dimensional CAD models such as the one in 2 Different methods can be used or combined in the model 28 shown, in particular in order to achieve a particularly high data quality as a result. On the one hand, the measuring points 30 of the three-dimensional cloud of points 16 and the pixels 32 of the at least one image 24 can be used for object recognition, with measuring points 30 assigned to a recognized object then being connected to form polygons such as triangles. These triangles are then assembled into a surface that corresponds to at least one component of the three-dimensional CAD model 28 . For example, horizontally running bars 34 of the shelf and vertically running bars 36 of the shelf, the bars 34 connecting struts 38 and the like can be formed by such surfaces.

Zusätzlich oder alternativ können nach dem Erkennen eines bestimmten Objekts anhand der Messpunkte 30 und der Bildpunkte 32 vordefinierte Bauteile des dreidimensionalen Modells 28 oder das dreidimensionale Modell 28 als solches an derjenigen Stelle der Punktewolke 16 angeordnet werden, an welcher ein bestimmtes Objekt wie etwa das in 2 beispielhaft gezeigte Regal von der Recheneinrichtung 26 lokalisiert wurde. Mit anderen Worten können also vordefinierte Komponenten wie etwa Rohre oder die Holme 34, 36 beziehungsweise weitere Regalteilelemente wie die Streben 38 an der Stelle des durch die Recheneinrichtung lokalisierten virtuellen Objekts über die Messpunkte 30 der Punktewolke 16 gelegt werden. Es können also zumindest vordefinierte Komponenten des dreidimensionalen Modells 28 gemappt werden. In analoger Weise können sich in dem Regal befindende weitere reale Objekte wie etwa in dem Bild 24 erkennbare Behälter 40 oder dergleichen Bauteile an entsprechenden Stellen der Punktewolke 16 angeordnet werden.Additionally or alternatively, after a specific object has been identified using measurement points 30 and image points 32, predefined components of three-dimensional model 28 or three-dimensional model 28 as such can be arranged at that point in point cloud 16 at which a specific object, such as the 2 shelf shown as an example was localized by the computing device 26. In other words, predefined components such as tubes or the bars 34, 36 or other partial shelf elements such as the struts 38 can be placed over the measuring points 30 of the point cloud 16 at the location of the virtual object localized by the computing device. At least predefined components of the three-dimensional model 28 can thus be mapped. In an analogous manner, other real objects located on the shelf, such as containers 40 that can be seen in the image 24 or similar components, can be arranged at corresponding points in the cloud of points 16 .

Des Weiteren können die von der Scaneinrichtung 12 erfassten Daten in Form der Messpunkte 30 der Punktewolke 16 und der Bildpunkte 32 des wenigstens einen Bilds 24 mit weiteren Informationen kombiniert werden, welche der Recheneinrichtung 26 zur Verfügung gestellt werden. Bei diesen Informationen kann es sich beispielsweise um Angaben handeln, welcher Behälter 40 in welchem Regal steht und welcher Typ von Behältern 40 verwendet wird. Das Heranziehen derartiger, weitere reale Objekte betreffender Informationen kann insbesondere dazu verwendet werden, um aus der Gruppe von vordefinierten beziehungsweise vorbestimmten dreidimensionalen CAD-Modellen 28 das korrekte dreidimensionale CAD-Modell 28 auszuwählen.Furthermore, the data recorded by the scanning device 12 in the form of the measuring points 30 of the point cloud 16 and the pixels 32 of the at least one image 24 can be combined with further information, which is made available to the computing device 26 . This information can be, for example, information about which container 40 is on which shelf and what type of container 40 is used. The use of such information relating to other real objects can be used in particular to select the correct three-dimensional CAD model 28 from the group of predefined or predetermined three-dimensional CAD models 28 .

Beispielsweise kann aus den Abmessungen der Behälter 40 abgeleitet werden, in welcher Art von Regal sich die Behälter 40 befinden. Es kann also aus Abmessungen der Behälter 40 auf den Typ des verwendeten Regals geschlossen werden. Auf diese Weise kann die Genauigkeit bei den Ergebnissen noch weiter verbessert werden.For example, the dimensions of the containers 40 can be used to determine the type of shelf on which the containers 40 are located. It is therefore possible to infer the type of shelf used from the dimensions of the containers 40 . In this way, the accuracy of the results can be further improved.

In analoger Weise können von der Recheneinrichtung 26 Daten über das Material des realen Objekts 10 dazu herangezogen werden, aus der Gruppe von vordefinierten beziehungsweise vorbestimmten dreidimensionalen CAD-Modellen beziehungsweise Komponenten eines vorbestimmten dreidimensionalen CAD-Modells dasjenige dreidimensionale CAD-Modell 28 auszuwählen, welches dem realen Objekt 10 (vergleiche 1) tatsächlich entspricht.In an analogous manner, computing device 26 can use data about the material of real object 10 to select from the group of predefined or predetermined three-dimensional CAD models or components of a predetermined three-dimensional CAD model that three-dimensional CAD model 28 that corresponds to the real Object 10 (compare 1 ) actually corresponds.

Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Modellgenerierung eines dreidimensionalen CAD-Modells 28 aus einer dreidimensionalen Punktewolke 16 und Fotografien beziehungsweise Bildern 24 vorgenommen werden kann.Overall, the examples show how the invention can be used to generate a three-dimensional CAD model 28 from a three-dimensional point cloud 16 and photographs or images 24 .

Claims (9)

Verfahren zum Erzeugen eines dreidimensionalen CAD-Modells (28) wenigstens eines realen Objekts (10), bei welchem mittels einer Scaneinrichtung (12) eine dreidimensionale Punktewolke (16) eines das wenigstens eine reale Objekt (10) enthaltenden Raums (18) erstellt wird, bei welchem mittels zumindest einer Kamera (20, 22) wenigstens ein Bild (24) aufgenommen wird, welches zumindest einen das wenigstens eine reale Objekt (10) enthaltenden Teilbereich des Raums (18) umfasst, wobei mittels einer Recheneinrichtung (26) Bildpunkte (32) des wenigstens einen Bilds (24) und Messpunkte (30) der Punktewolke (16) auf eine Übereinstimmung hin untersucht werden, und bei welchem die Recheneinrichtung (26) zum Erzeugen des dreidimensionalen CAD-Modells (28) wenigstens einen der Messpunkte (30) der Punktewolke (16) verwendet, für welchen die Recheneinrichtung (26) die Übereinstimmung mit einem Bildpunkt (32) des wenigstens einen Bilds (24) festgestellt hat, dadurch gekennzeichnet, dass zum Feststellen der Übereinstimmung ein jeweiliger Farbwert des Bildpunkts (32) mit einem jeweiligen Messpunktfarbwert verglichen wird, wobei bei einem Unterschreiten eines Schwellenwerts einer Abweichung der Farbwerte voneinander von der Recheneinrichtung (26) auf ein Vorhandensein der Übereinstimmung geschlossen wird.Method for generating a three-dimensional CAD model (28) of at least one real object (10), in which a three-dimensional point cloud (16) of a space (18) containing the at least one real object (10) is created by means of a scanning device (12), in which at least one image (24) is recorded by means of at least one camera (20, 22), which comprises at least one partial area of the room (18) containing the at least one real object (10), with image points (32 ) of the at least one image (24) and measurement points (30) of the point cloud (16) are examined for a match, and in which the computing device (26) for generating the three-dimensional CAD model (28) at least one of the measurement points (30) of the point cloud (16) for which the computing device (26) has ascertained that it corresponds to a pixel (32) of the at least one image (24), characterized in that for ascertaining a respective color value of the pixel (32) is compared with a respective measurement point color value to determine the match, wherein if the deviation of the color values from one another falls below a threshold value, the computing device (26) concludes that there is a match. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass von der Recheneinrichtung (26) eine Mehrzahl von Messpunkten (30) der Punktewolke (16) und/oder eine Mehrzahl von Bildpunkten (32) des wenigstens einen Bilds (24) miteinander verknüpft werden, für welche die Recheneinrichtung (26) die Übereinstimmung festgestellt hat, wobei durch die Recheneinrichtung (26) die miteinander verknüpften Messpunkte (30) und/oder die miteinander verknüpften Bildpunkte (32) einem virtuellen Objekt zugeordnet werden.procedure after claim 1 , characterized in that the computing device (26) links a plurality of measuring points (30) of the cloud of points (16) and/or a plurality of image points (32) of the at least one image (24) for which the computing device (26 ) has established the match, the measuring points (30) and/or the pixels (32) linked to one another being assigned to a virtual object by the computing device (26). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das virtuelle Objekt durch die Recheneinrichtung (26) identifiziert wird, indem die Recheneinrichtung (26) die miteinander verknüpften Messpunkte (30) und/oder Bildpunkte (32) mit zumindest einem Bereich angelernter virtueller Objekte vergleicht.procedure after claim 2 , characterized in that the virtual object is identified by the computing device (26) in that the computing device (26) compares the linked measuring points (30) and/or pixels (32) with at least one area of learned virtual objects. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass an einer Stelle der Punktewolke (16), an welcher durch die Recheneinrichtung (26) das virtuelle Objekt lokalisiert wird, mittels der Recheneinrichtung (26) das dreidimensionale CAD-Modell (28) erstellt wird.procedure after claim 2 or 3 , characterized in that the three-dimensional CAD model (28) is created by the computing device (26) at a point in the cloud of points (16) at which the virtual object is localized by the computing device (26). Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zum Erstellen des dreidimensionalen CAD-Modells (28) an der Stelle aus Messpunkten (30) der Punktewolke (16) mittels der Recheneinrichtung (26) Polygone gebildet werden, welche zu einer Fläche zusammengesetzt werden, wobei die zusammengesetzte Fläche durch die Recheneinrichtung (26) mit einer korrespondierenden Fläche verglichen wird, welche aus den miteinander verknüpften Bildpunkten (32) des wenigstens einen Bilds (24) gebildet ist, wobei insbesondere anhand des Vergleichens wenigstens eine Grenze des dreidimensionalen CAD-Modells (28) bestimmt wird.procedure after claim 4 , characterized in that to create the three-dimensional CAD model (28) at the point of measurement points (30) of the point cloud (16) are formed by means of the computing device (26) polygons, which are combined to form a surface, the combined surface by the computing device (26) is compared with a corresponding area, which is formed from the linked image points (32) of the at least one image (24), at least one boundary of the three-dimensional CAD model (28) being determined in particular on the basis of the comparison. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass mittels der Recheneinrichtung (26) an der Stelle ein dreidimensionales CAD-Modell (28) angeordnet wird, welches durch die Recheneinrichtung (26) aus einer Gruppe von vorbestimmten dreidimensionalen CAD-Modellen ausgewählt wird.procedure after claim 4 or 5 , characterized in that by means of the computing device (26) a three-dimensional CAD model (28) is arranged at the location, which is selected by the computing device (26) from a group of predetermined three-dimensional CAD models. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass durch die Recheneinrichtung (26) aus Bildpunkten (32) des wenigstens einen Bilds (24) und/oder aus Messpunkten (30) der Punktewolke (16) zumindest eine Eigenschaft wenigstens eines weiteren realen Objekts (40) ermittelt wird, welches in dem realen Objekt (10) und/oder an dem realen Objekt (10) angeordnet ist, wobei bei dem Auswählen des vorbestimmten dreidimensionalen CAD-Modells (28) aus der Gruppe die zumindest eine Eigenschaft des wenigstens einen weiteren realen Objekts (40) berücksichtigt wird.procedure after claim 6 , characterized in that at least one property of at least one further real object (40) is determined by the computing device (26) from pixels (32) of the at least one image (24) and/or from measurement points (30) of the point cloud (16), which is arranged in the real object (10) and/or on the real object (10), wherein when the predetermined three-dimensional CAD model (28) is selected from the group, the at least one property of the at least one further real object (40) is taken into account. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass durch die Recheneinrichtung (26) bei dem Auswählen des vorbestimmten dreidimensionalen CAD-Modells (28) aus der Gruppe wenigstens eine geometrische Eigenschaft des vorbestimmten dreidimensionalen CAD-Modells (28) berücksichtigt wird.procedure after claim 6 or 7 , characterized in that at least one geometric property of the predetermined three-dimensional CAD model (28) is taken into account by the computing device (26) when selecting the predetermined three-dimensional CAD model (28) from the group. Recheneinrichtung (26) zum Erzeugen eines dreidimensionalen CAD-Modells (28) wenigstens eines realen Objekts (10), wobei die Recheneinrichtung (26) dazu ausgebildet ist, Messpunkte (30) einer dreidimensionalen Punktewolke (16) zu verarbeiten, welche mittels einer Scaneinrichtung (12) durch Scannen eines das wenigstens eine reale Objekt (10) enthaltenden Raums (18) erstellbar ist, wobei die Recheneinrichtung (26) dazu ausgebildet ist, Bildpunkte (32) wenigstens eines mittels zumindest einer Kamera (20, 22) aufgenommenen Bilds (24) zu verarbeiten, welches zumindest einen das wenigstens eine reale Objekt (10) enthaltenden Teilbereich des Raums (18) umfasst, wobei die Recheneinrichtung (26) dazu ausgebildet ist, die Bildpunkte (32) des wenigstens einen Bilds (24) und die Messpunkte (30) der Punktewolke (16) auf eine Übereinstimmung hin zu untersuchen und zum Erzeugen des dreidimensionalen CAD-Modells (28) wenigstens einen der Messpunkte (30) der Punktewolke (16) zu verwenden, für welchen die Recheneinrichtung (26) die Übereinstimmung mit einem Bildpunkt (32) des wenigstens einen Bilds (24) festgestellt hat, dadurch gekennzeichnet, dass die Recheneinrichtung (26) dazu ausgebildet ist, zum Feststellen der Übereinstimmung einen jeweiligen Farbwert des Bildpunkts (32) mit einem jeweiligen Messpunktfarbwert zu vergleichen und bei einem Unterschreiten eines Schwellenwerts einer Abweichung der Farbwerte voneinander auf ein Vorhandensein der Übereinstimmung zu schließen.Computing device (26) for generating a three-dimensional CAD model (28) of at least one real object (10), the computing device (26) being designed to process measuring points (30) of a three-dimensional point cloud (16) which are scanned by means of a scanning device ( 12) can be created by scanning a space (18) containing the at least one real object (10), the computing device (26) being designed to display pixels (32) of at least one image (24 ) which comprises at least one partial area of the room (18) containing the at least one real object (10), the computing device (26) being designed to process the pixels (32) of the at least one image (24) and the measurement points ( 30) to examine the cloud of points (16) for a match and to use at least one of the measuring points (30) of the cloud of points (16) to generate the three-dimensional CAD model (28), for which d The arithmetic unit (26) has determined the match with a pixel (32) of the at least one image (24), characterized in that the arithmetic unit (26) is designed to determine the match a respective color value of the pixel (32) with a to compare the respective measurement point color value and, if the deviation of the color values from one another falls below a threshold value, to conclude that there is a match.
DE102018218611.1A 2018-10-31 2018-10-31 Method and computing device for generating a three-dimensional CAD model Active DE102018218611B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018218611.1A DE102018218611B4 (en) 2018-10-31 2018-10-31 Method and computing device for generating a three-dimensional CAD model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018218611.1A DE102018218611B4 (en) 2018-10-31 2018-10-31 Method and computing device for generating a three-dimensional CAD model

Publications (2)

Publication Number Publication Date
DE102018218611A1 DE102018218611A1 (en) 2020-04-30
DE102018218611B4 true DE102018218611B4 (en) 2022-02-10

Family

ID=70417212

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018218611.1A Active DE102018218611B4 (en) 2018-10-31 2018-10-31 Method and computing device for generating a three-dimensional CAD model

Country Status (1)

Country Link
DE (1) DE102018218611B4 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4330627A1 (en) * 2021-04-26 2024-03-06 2872475 Ontario Limited Vehicle damage detection system and method
DE102022206395A1 (en) * 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215917A (en) 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd Working drawing creation support method and replacement model creation method
US20080075326A1 (en) 2006-09-25 2008-03-27 Kabushiki Kaisha Topcon Surveying method, surveying system and surveying data processing program
US20160314593A1 (en) 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
EP3211550A1 (en) 2016-02-23 2017-08-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for producing a 3d cad model, use of the 3d cad model, computer program product and system for nc machining

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215917A (en) 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd Working drawing creation support method and replacement model creation method
US20080075326A1 (en) 2006-09-25 2008-03-27 Kabushiki Kaisha Topcon Surveying method, surveying system and surveying data processing program
US20160314593A1 (en) 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
EP3211550A1 (en) 2016-02-23 2017-08-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for producing a 3d cad model, use of the 3d cad model, computer program product and system for nc machining

Also Published As

Publication number Publication date
DE102018218611A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
DE102013205762B4 (en) An information processing apparatus that performs a three-dimensional shape measurement, information processing method and storage medium
EP3883716B1 (en) Detection of machining errors of a laser machining system using deep convolutional neural net
DE102015002760B4 (en) Robot simulation system that simulates the process of removing workpieces
DE112012001984B4 (en) Integrate video metadata into 3D models
DE602006000627T2 (en) Three-dimensional measuring method and three-dimensional measuring device
DE102017116952A1 (en) SYSTEM AND METHOD FOR IMPROVED SCORING OF 3D LAYERS AND REMOVAL OF DISTURBANCES IN 3D IMAGE DATA
DE102014210099B3 (en) Method for image-based calibration of multi-camera systems with adjustable focus and / or zoom
EP2144036A2 (en) Method and device for 3D digitalisation of an object
DE102018207414A1 (en) Image processing system
DE102006055758A1 (en) Camera calibrating method for optical measuring system, involves marking one of cross-over points in checker pattern by position information, which is readable by image processing of images of pattern and has coding of orientation
DE102018115334B3 (en) Method for calibrating an electromagnetic radiation emitting device by means of a sensor unit
DE10144932A1 (en) Visualization of a workpiece by computer simulation of a machining process with workpiece contours defined by the intersection of a cutting edge along a preset machining path
DE19525561C2 (en) 3D measuring device
DE102017116853A1 (en) System and method for automatically selecting 3D alignment algorithms in a vision system
DE102018218611B4 (en) Method and computing device for generating a three-dimensional CAD model
DE102012223047B4 (en) Multi-part correspondent (corresponder) for several cameras
DE102019104310A1 (en) System and method for simultaneously viewing edges and normal image features through a vision system
DE102017010683B4 (en) Method for automatic restoration of a measured state of a projection system
DE102017219244B4 (en) INSPECTION CONDITIONING DEVICE, INSPECTION CONDITIONING PROCEDURE AND INSPECTION CONDITIONING PROGRAM
WO2006094637A1 (en) Method for comparing a real object with a digital pattern
DE60020234T2 (en) PROCESS AND DEVICE FOR IMAGE PLAYBACK
DE102017201827A1 (en) Method for correcting deviations in a manufacturing process of an article
DE112019007337T5 (en) Calibration method and device, 3D environment modeling method and device, computer storage medium and operating platform for industrial robots
EP3174010A2 (en) Method for creating a 3d representation and corresponding image recording apparatus
DE102018128184A1 (en) Method, device, computer program and computer program product for generating a labeled image

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final