EP3420531A1 - Method and image-processing device for determining a geometric measurement quantity of an object - Google Patents

Method and image-processing device for determining a geometric measurement quantity of an object

Info

Publication number
EP3420531A1
EP3420531A1 EP17705553.0A EP17705553A EP3420531A1 EP 3420531 A1 EP3420531 A1 EP 3420531A1 EP 17705553 A EP17705553 A EP 17705553A EP 3420531 A1 EP3420531 A1 EP 3420531A1
Authority
EP
European Patent Office
Prior art keywords
image
points
visual
computer
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17705553.0A
Other languages
German (de)
French (fr)
Inventor
Jan-Friso Evers-Senne
Hellen ALTENDORF
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Testo SE and Co KGaA
Original Assignee
Testo SE and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Testo SE and Co KGaA filed Critical Testo SE and Co KGaA
Publication of EP3420531A1 publication Critical patent/EP3420531A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the invention relates, on the one hand, to a method and, on the other hand, to an image acquisition device for determining a geometric measurement variable of an object.
  • a geometrical measured quantity can be, for example, a spatial distance and / or a surface area.
  • Such methods for determining a geometric measured quantity are known per se and are always based on at least one manual processing step and on the other on a scaling of the image by means of an additionally required scale.
  • manual preparation steps for image processing for example for distortion correction and / or for perspective equalization, which require training of a user, are required.
  • a method for determining a geometrical measured variable of an object is proposed for achieving the object, wherein: in a recording step at least one visual image of the object is recorded,
  • a true-to-scale 3D image of the object is recorded and / or calculated
  • a subset of 3D points of the 3D image is calculated
  • a geometric primitive is fitted computer-aided
  • a feature detection step a feature selection is applied to the at least one visual image in order to identify at least two feature points in the visual image
  • a geometric measurement for the at least two measurement points is calculated.
  • the invention makes it possible, on the one hand, to correct fisheye images and / or one distortion and / or one perspective distortion of the recorded visual image to determine a geometric measurement variable and, on the other hand, to increase the measurement accuracy compared to a direct use of a 3D model ,
  • no manually executed intermediate step for example for determining a geometrical measured variable, is necessary.
  • By fitting a geometric primitive in a subset of 3D points it is also possible to reduce measurement inaccuracies, for example by a noisy recording of the 3D image.
  • the geometric primitive thus corresponds to an approximation to the actual geometric shape or surface of the object.
  • the geometric measured variable is a spatial distance, in particular a width, a height, a, in particular shortest and / or largest, distance between two boundary lines, and / or a diagonal, and / or an area, in particular the entire Object or part of it.
  • the totality of all 3D points that are recorded by means of a 3D camera can also be referred to as a 3D image or point cloud.
  • the invention thus has the advantage that the aforementioned manual preparation steps for image processing can be dispensed with prior to the determination of the geometrical measured variable, since they can be executed and executed automatically.
  • a conical shell part, cylinder shell part and / or plane part is used as geometrical primitive, preferably parameterized and / or bounded. If, by means of the method according to the invention, as described and claimed herein, for example a flat surface or a part thereof, such as a building wall are measured, then for the building wall formed by fitting a trained as a plane geometric primitive in the subset of 3D points a spatial direction (in particular as a or by means of a normal direction and / or as a course direction of the planar object) are determined.
  • a grouping step is performed before the implementation of the fitting step in order to determine a spatial direction, preferably computer-aided, for each 3D point and then the 3D points are subdivided into a subset of 3D points, preferably computer-aided, according to their respective spatial directions. assigned.
  • a spatial direction preferably computer-aided
  • an image recording device with a 3D camera is used to record the 3D image.
  • Suitable 3D cameras may be, for example, a time-of-flight sensor for performing a runtime measurement of an optical signal, a laser scanner and / or a stereo camera.
  • the sequence of several visual images can be recorded, for example, by means of a visual camera, wherein preferably the individual visual images are taken from different camera poses.
  • a suitable method here can be, for example, the structure-from-motion method.
  • a marker is imaged on the object, in particular projected onto the object and / or attached to the object, and / or a distance measurement between one or the above-mentioned image acquisition device and the object is performed.
  • the Marker may, for example, a pattern, preferably from several pattern components, with a scaling and / or the determination of the spatial direction of the object by means of the imaged on the object marker is possible.
  • the distance measurement can also provide another parameter, which can be used to calculate the scaling of the object.
  • a marker preferably a mechanical marker
  • the object is imaged with the object, for example by an arrangement at or close to the object, in particular wherein the dimensions of the marker are known.
  • a scaling of the object and / or a determination of the spatial direction of the object can be easily determined.
  • it may be expedient according to a further advantageous embodiment of the invention when the marker is projected as a laser cross on the object.
  • the spatial direction of the object can be determined more accurately.
  • a projector with which the laser cross is projected or can be projected be rigidly coupled to the image pickup device.
  • a scaling : of the recorded object can thus be determined from a known optical center distance (baseline) by known methods; become.
  • a multi-beam distance measurement in particular with the individual measurements being respectively directed to different measuring points on the object, is undertaken.
  • a projection and a recording of the visual image and / or the 3D image take place from a fixed, in particular coupled, Position.
  • the visual image and the 3D image are respectively recorded from a stationary, in particular from a coupled, camera pose. With this configuration, it is sufficient to take one visual image and one 3D image at a time. It is also particularly advantageous that the simplest possible projection of feature points on the geometric primitive is possible as measuring points.
  • a significant disadvantage of previously known methods is based on the fact that for the selection of at least two feature points in a manual intermediate step, a certain amount of experience is necessary. For example, it may be necessary for the user to require a high degree of click accuracy when selecting the feature points. According to an embodiment of the method according to the invention, it may be expedient if the selection of at least two feature points in
  • Feature detection step is performed by a computer-aided automated feature detection.
  • the user only has to be careful not to lie outside the object when taking the object.
  • such high accuracy as in the manual selection in previously known methods is not required.
  • the selection of at least two Feature points is made by a manual feature selection.
  • the fit of the geometric primitive is checked and / or optimized in a plausibility check in a computer-aided manner.
  • this can be done in such a way that outliers of 3D points, which are caused in particular by measurement errors, are excluded within a subset of 3D points during the fitting of the geometric primitive.
  • the implementation of a plausibility check therefore has the advantage that the spatial direction of the geometric primitive can be calculated particularly accurately.
  • an RA SAC method and / or a region-growing method is used in the fitting step.
  • a geometrical measured variable can be, for example, a spatial distance and / or an area.
  • a suitable running time measurement may be, for example, the time-of-flight method.
  • a distortion correction and / or a correction of a local aberration of the visual image or the visual images and / or the 3D image is carried out automatically and / or computer-assisted.
  • the distortion correction and / or a correction of a local aberration should ideally be done before creating a 3D image from multiple visual images, the visual images used for this purpose. It may alternatively or additionally be provided according to the invention that the
  • Distortion correction and / or a correction of a local aberration before the fitting step is made.
  • a distortion correction step the accuracy in determining a geometric measurement variable can thus be increased.
  • the computer-aided and / or automated distortion correction and / or correction of a local aberration can enable a rapid calculation of the geometrical measurand.
  • an image recording device for determining a geometrical measured variable of an object is thus provided, with:
  • a visual camera for capturing at least one visual image and a 3D camera for capturing an SD image or a visual camera for capturing a sequence of a plurality of visual images and a 3D imaging unit for calculating a 3D image from the sequence of several visual images
  • a point cloud calculation unit for calculating a subset of 3D points of the 3D image
  • a fitting unit for fitting a geometric primitive into the subset of 3D points
  • a feature detection unit for manually and / or automatically selecting at least two feature points in the at least one visual image
  • a projection unit for projecting the at least two feature points onto the geometric primitive as at least two measurement points
  • the image recording device has, for example, the advantage over prior art image recording devices that it requires the calculation of a geometrical measured variable of an object, in particular without a manual intermediate step, which must be carried out, for example, by means of a further input device, such as a PC.
  • a further input device such as a PC.
  • the user can by means of the invention
  • Imaging device directly on site make a measurement and also receives a result directly on site.
  • all functional units of the invention are identical to all functional units of the invention.
  • Image recording device so programmable that they can work automatically. In a specific embodiment, however, it may be expedient if the feature selection is at least optionally manually executable by the user.
  • the Point cloud calculation unit is set up to determine a spatial direction of a 3D point, preferably calculated automatically supported computer-aided.
  • a determination of the spatial direction of a 3D point can have the advantage that the 3D points can be assigned in a computer-assisted manner according to their spatial directions of subsets of 3D points. Therefore, the point cloud calculation unit can be set up so that the 3D points can be assigned to subsets of SD points according to their spatial directions.
  • the point cloud calculation unit can be set up such that for each 3D point, firstly a local level can be determined computer-aided, and then a normal vector is computed from it computer-assisted. A. For example, classification into subsets of the 3D points can be done according to your normal vectors.
  • the image recording device has a plausibility check device for checking and / or optimizing the geometric primitive.
  • the plausibility checking device is set up to perform an optimization of the geometric primitive until there is a minimized discrepancy between the 3D points and the actual points of the geometric primitive.
  • the actual points of the geometric primitive refer to those points that lie directly on the geometric primitive.
  • the plausibility check device therefore makes it possible to achieve increased accuracy in the calculation of the geometric measured variable.
  • the visual camera for receiving at least one visual image and the 3D camera are coupled together.
  • a coupling can be set up in particular in that the two cameras are connected to one another via a connecting element, preferably at a defined and / or adjustable distance, or are connectable to one another.
  • this image recording device has a grouping unit.
  • the grouping unit may be configured to perform an implementation of a
  • Performing grouping step computerized in particular wherein for each 3D point, a spatial direction can be determined and the 3D points are assigned according to their spatial direction of a subset of 3D points computer-aided.
  • the point cloud calculation unit and the grouping unit are designed as a single unit. It can be particularly expedient if, for each 3D point, first a local level and from this a normal vector can be computed in a computer-aided manner.
  • the image acquisition device of the invention as described and claimed herein may be preferably adapted to carry out the method of the invention as described and claimed herein. For this reason, for the inventive design of such an image pickup device, the same advantages as the Advantages which have already been described above for the method according to the invention.
  • the image recording device is a correction unit for performing, in particular for automated and / or computer-aided implementation, distortion correction and / or correction of a local aberration of the visual image or images and / or the SD image has.
  • this correction unit can be set up such that a correction step to be carried out, for example before a 3D image is produced from a sequence of visual images, takes place from the sequence for all visual images and / or that a correction step to be performed prior to projection of the at least two feature points on the geometric primitive takes place as at least two measurement points.
  • FIG. 1 is a simplified schematic representation of a visual image on which an object is shown in a certain perspective
  • Fig. 2 is a simplified schematic representation in
  • Fig. 3 shows two subsets of 3D points of a 3D image of the
  • Fig. 5 is a visual image with a strong distorting
  • Fig. 6 is a corrected by distortion correction visual image of the object.
  • FIG. 1 shows an image recording device 1 according to the invention
  • FIGS. 2 and 3 show steps of a method according to the invention in a simplified schematic manner, as can be carried out, for example, by means of the image recording device 1 according to the invention.
  • the image recording device 1 is set up to determine a geometrical measured variable 3 of an object 2.
  • the image pickup device 1 has a visual camera 16 and a 3D camera 15.
  • the two cameras 15, 16 are over Connecting element 18 coupled together in a preferably defined and / or adjustable distance.
  • This embodiment according to the invention has the advantage that no distance measurement is required to determine the geometric measured variable 3.
  • the image recording device 1 has only one visual camera 16 for recording a series of multiple visual images 4 and one 3D imaging unit for calculating a 3D image 5 from the sequence of multiple visual images 4 (not shown).
  • the image recording device 1 has only one visual camera 16 for recording a series of multiple visual images 4 and one 3D imaging unit for calculating a 3D image 5 from the sequence of multiple visual images 4 (not shown).
  • Image pickup device 1 has a distance measuring unit. Furthermore, the image recording device 1 according to the invention can have a projector unit for the projection of a, in particular visual, marker on the object 2, in particular on an object plane 19.
  • the image recording device 1 according to the invention also has a point cloud calculation unit for calculating a subset 8 of 3D points 6 of the 3D image 5.
  • a geometrical primitive 7 which, as in the present case, may for example be designed as a plane part, into the subset 8 of 3D points 6, the image recording device 1 according to the invention has an adaptation unit.
  • the image recording device 1 furthermore has a feature detection unit which, for example, can be set up in order to be able to perform in the visual image by means of a manual selection of at least two feature points 9, 10. Alternatively or additionally, it can also be provided that the feature detection unit is set up in such a way, in particular programmable, to automatically select at least two feature points 9, 10 make in the visual image 4.
  • the image recording device 1 has a projection unit for the projection 11 of the at least two selected feature points 9, 10 on the geometric primitive 7 as at least two measuring points 12, 13 on.
  • the geometric measured variable 3 for the at least two measuring points 12, 13 can be determined.
  • the spatial direction 14, in particular the course direction, of the geometric primitive 7 corresponds approximately or completely to the actual spatial direction 20, in particular the course direction, of the object 2.
  • the 3D points 6 of the SD image 5 can have inaccuracies, which is why they do not lie exactly on a plane, in particular on a plane corresponding to the object plane 19, but are partially positioned outside the plane.
  • a geometric primitive 7 as shown in FIG. 2
  • the respective spatial direction of each 3D point 6 is first calculated and taken into account in order to finally perform a classification.
  • the image recording device 1 further comprises a distortion correction unit, by means of which a correction of a local error of the image of the visual image 4 and / or the 3D image 5, preferably automated and / or computer-aided, is vorrisebar.
  • a distortion correction unit by means of which a correction of a local error of the image of the visual image 4 and / or the 3D image 5, preferably automated and / or computer-aided, is vorrisebar.
  • FIGS. 4 to 6 the sequence of processing of a visual image 4 recorded by means of the visual camera 16 is shown schematically.
  • a visual image 4 and / or a 3-D image may oddly image the edges of the object 17 due to distortion errors and / or due to the capture of the image by a fisheye camera, although these edges 17 are in fact rectilinear.
  • the visual image 4 of the object 2 has a barrel-shaped distortion. As shown in FIG.
  • a distortion correction in particular automated and computer-assisted, can be performed so that a distortion-free visual image 4 is produced (see corrected visual image 4 in FIG. 5).
  • Figure 6 is a shown orthogonal representation of the visual image 4 (as a top view and / or ortho-image or ortho-photo), which can be created by means of the image pickup device 1 according to the invention, in particular from the distortion-free visual image 4.
  • the image recording device 1 is further adapted for carrying out the method according to the invention, as described and claimed herein, wherein preferably all method steps are computer-aided, preferably automated, feasible, except for
  • Feature detection step which is optionally automated and / or manually carried out.
  • the position and the orientation of an image recording device relative to the object 2 are known or ascertainable.
  • a further advantage may be if a geometrical primitive 7 is already possible by detecting a number of at least three 3D points 6 in order to be able to determine the spatial direction 20, in particular the course direction, of the object 2. The more 3D points 6 of a subset 8 are taken into account during the fitting, the higher is the accuracy of the spatial direction 14 of the geometric primitive 7 with respect to the spatial direction 20 of the object 2, wherein outliers can be excluded.

Abstract

The invention relates to a method and to an image-recording device (1) for determining a geometric measurement quantity (3) of an object (2), wherein at least one visual image (4) of the object (2) is recorded in a recording step, a true-to-scale 3-D image of the object (2) is recorded and/or calculated in a 3-D image creation step, a subset of 3-D points of the 3-D image is calculated in a point cloud calculation step, a geometric primitive is fit to the subset of 3-D points in a computer-assisted manner in a fitting step, a feature selection is applied to the at least one visual image in a feature detection step in order to identify at least two feature points (9, 10) in the visual image (4), the at least two feature points (9, 10) are projected onto the geometric primitive as at least two measurement points (12, 13) in a projection step (11), and a geometric measurement quantity (3) is calculated for the at least two measurement points (12, 13) in a calculation step.

Description

Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes  Method and image processing device for determining a geometric measured variable of an object
Die Erfindung betrifft einerseits ein Verfahren und andererseits eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes. Eine solche geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein. The invention relates, on the one hand, to a method and, on the other hand, to an image acquisition device for determining a geometric measurement variable of an object. Such a geometrical measured quantity can be, for example, a spatial distance and / or a surface area.
Derartige Verfahren zur Bestimmung einer geometrischen Messgröße sind an sich bekannt und beruhen stets auf zumindest einem manuellen Bearbeitungsschritt und zum anderen auf einer Skalierung des Bildes mittels eines zusätzlich erforderlichen Maßstabes. Um ein aufgenommenes Bild für die Bestimmung einer geometrischen Messgröße verwenden zu können, sind manuelle Vorbereitungsschritte zur Bildbearbeitung, beispielsweise zu einer Verzeichnungskorrektur und/oder zu einer perspektivischen Entzerrung, erforderlich, die eine Schulung eines Benutzers erfordern. Such methods for determining a geometric measured quantity are known per se and are always based on at least one manual processing step and on the other on a scaling of the image by means of an additionally required scale. In order to be able to use a captured image for the determination of a geometrical measured quantity, manual preparation steps for image processing, for example for distortion correction and / or for perspective equalization, which require training of a user, are required.
Es besteht daher die Aufgabe zur Vereinfachung der Bestimmung einer geometrischen Messgröße ein verbessertes Verfahren durch Automatisierung zu schaffen, bei welchem die genannten Nachteile ausgeräumt sind. There is therefore the object of simplifying the determination of a geometrical measured variable to provide an improved method by automation, in which the mentioned disadvantages are eliminated.
Die Lösung dieser Aufgabe wird durch die Kombination der Merkmale gemäß Anspruch 1 erreicht. Insbesondere wird erfindungsgemäß zur Lösung der Aufgabe ein Verfahren zur Bestimmung einer geometrischen Messgröße eines Objektes vorgeschlagen, wobei: - in einem Aufnahmeschritt zumindest ein visuelles Bild des Objektes aufgenommen wird, The solution to this problem is achieved by combining the features according to claim 1. In particular, according to the invention, a method for determining a geometrical measured variable of an object is proposed for achieving the object, wherein: in a recording step at least one visual image of the object is recorded,
- in einem 3D-Bilderstellungsschritt ein maßstabgetreues 3D- Bild des Objektes aufgenommen und/oder berechnet wird,  in a 3D imaging step, a true-to-scale 3D image of the object is recorded and / or calculated,
- in einem Punktwolkenberechnungsschritt eine Teilmenge von 3D- Punkten des 3D-Bildes berechnet wird,  in a point cloud calculation step, a subset of 3D points of the 3D image is calculated,
- in einem Einpassungsschritt für die Teilmenge aus 3D-Punkten ein geometrisches Primitiv rechnergestützt eingepasst wird, - in einem Merkmalsdetektionsschritt eine Merkmalsauswähl auf das zumindest eine visuelle Bild angewandt wird, um wenigstens zwei Merkmalspunkte in dem visuellen Bild zu identifizieren,  in a fitting step for the subset of 3D points, a geometric primitive is fitted computer-aided, in a feature detection step a feature selection is applied to the at least one visual image in order to identify at least two feature points in the visual image,
- in einem Proj ektionsschritt die wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte projiziert werden,  in a proj ektionsschritt the at least two feature points are projected onto the geometric primitive as at least two measuring points,
- in einem Berechnungsschritt eine geometrische Messgröße für die wenigstens zwei Messpunkte berechnet wird. Auf diese Weise ermöglicht die Erfindung, dass zum einen Fischaugenbilder und/oder eine Verzeichnung und/oder eine perspektivische Verzerrung des aufgenommenen visuellen Bildes zur Bestimmung einer geometrischen Messgröße korrigierbar ist und zum anderen, dass die Messgenauigkeit gegenüber einer direkten Verwendung eines 3D-Modells erhöht wird. Besonders vorteilhaft kann es insbesondere sein, dass kein manuell ausgeführter Zwischenschritt, beispielsweise zur Bestimmung einer geometrischen Messgröße notwendig ist. Ausgenommen davon, kann es zweckmäßig sein, wenn die Merkmalsauswahl durch den Benutzer manuell vorgenommen wird. Durch die Einpassung eines geometrischen Primitivs in eine Teilmenge von 3D-Punkten ist es zudem möglich, Messungenauigkeiten, beispielsweise durch eine verrauschte Aufnahme des 3D-Bildes, zu reduzieren. Das geometrische Primitiv entspricht also einer Näherung an die tatsächliche geometrische Form oder Oberfläche des Objektes. Es kann vorgesehen sein, dass die geometrische Messgröße eine räumliche Distanz ist, insbesondere eine Breite, eine Höhe, ein, insbesondere kürzester und/oder größter, Abstand zwischen zwei Begrenzungslinien, und/oder eine Diagonale, und/oder ein Flächeninhalt, insbesondere des gesamten Objektes oder eines Teiles davon. Die Gesamtheit aller 3D-Punkte, welche mittels einer 3D-Kamera aufgenommen werden, können auch als 3D-Bild oder Punktewolke bezeichnet werden. Die Erfindung hat somit den Vorteil, dass die erwähnten manuellen Vorbereitungsschritte der Bildbearbeitung vor der Bestimmung der geometrischen Messgröße verzichtbar sind, da sie automatisiert ausführbar sind und ausgeführt werden. - In a calculation step, a geometric measurement for the at least two measurement points is calculated. In this way, the invention makes it possible, on the one hand, to correct fisheye images and / or one distortion and / or one perspective distortion of the recorded visual image to determine a geometric measurement variable and, on the other hand, to increase the measurement accuracy compared to a direct use of a 3D model , In particular, it can be particularly advantageous that no manually executed intermediate step, for example for determining a geometrical measured variable, is necessary. Except for this, it may be useful if the feature selection is made manually by the user. By fitting a geometric primitive in a subset of 3D points, it is also possible to reduce measurement inaccuracies, for example by a noisy recording of the 3D image. The geometric primitive thus corresponds to an approximation to the actual geometric shape or surface of the object. It may be provided that the geometric measured variable is a spatial distance, in particular a width, a height, a, in particular shortest and / or largest, distance between two boundary lines, and / or a diagonal, and / or an area, in particular the entire Object or part of it. The totality of all 3D points that are recorded by means of a 3D camera can also be referred to as a 3D image or point cloud. The invention thus has the advantage that the aforementioned manual preparation steps for image processing can be dispensed with prior to the determination of the geometrical measured variable, since they can be executed and executed automatically.
Abhängig von der geometrischen Form des Objektes können unterschiedliche geometrische Primitive, insbesondere für verschiedene Oberflächen des Objektes, berechnet werden. Beispielsweise kann es erfindungsgemäß vorgesehen sein, dass in dem Einpassungsschritt des erfindungsgemäßen Verfahrens als geometrisches Primitiv ein, vorzugsweise parametrierter und/oder berandeter, Kegelmantelteil, Zylindermantelteil und/oder Ebenenteil verwendet wird. Soll mittels des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, beispielsweise eine ebene Fläche oder ein Teil davon, wie eine Gebäudewandung vermessen werden, so kann für das als Gebäudewandung ausgebildete Objekt durch Einpassung eines als Ebenenteil ausgebildeten geometrischen Primitivs in die Teilmenge aus 3D-Punkten eine Raumrichtung (insbesondere als eine oder mittels einer Normalenrichtung und/oder als eine Verlaufsrichtung des ebenen Objektes) bestimmt werden. Depending on the geometric shape of the object, different geometric primitives, in particular for different surfaces of the object, can be calculated. For example, it can be provided according to the invention that in the fitting step of the method according to the invention a conical shell part, cylinder shell part and / or plane part is used as geometrical primitive, preferably parameterized and / or bounded. If, by means of the method according to the invention, as described and claimed herein, for example a flat surface or a part thereof, such as a building wall are measured, then for the building wall formed by fitting a trained as a plane geometric primitive in the subset of 3D points a spatial direction (in particular as a or by means of a normal direction and / or as a course direction of the planar object) are determined.
Ferner kann es bei einer spezifischen Ausgestaltung des erfindungsgemäßen Verfahrens zweckmäßig sein, wenn vor Durchführung des Einpassungsschrittes ein Gruppierungsschritt vorgenommen wird, um für jeden 3D-Punkt eine Raumrichtung, vorzugsweise rechnergestützt, zu bestimmen und die 3D-Punkte anschließend gemäß ihren jeweiligen Raumrichtungen in eine Untermenge an 3D-Punkten, vorzugsweise rechnergestützt, zuzuordnen. Insbesondere kann dabei erfindungsgemäß vorgesehen sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird. Furthermore, in a specific embodiment of the According to the method according to the invention, a grouping step is performed before the implementation of the fitting step in order to determine a spatial direction, preferably computer-aided, for each 3D point and then the 3D points are subdivided into a subset of 3D points, preferably computer-aided, according to their respective spatial directions. assigned. In particular, it can be provided according to the invention that for each 3D point, first a local level and from this a normal vector is computationally calculated.
Zur Erstellung eines 3D-Bildes im 3D-Bilderstellungsschritt des erfindungsgemäßen Verfahrens kann es vorteilhaft sein, wenn eine Bildaufnahmevorrichtung mit einer 3D-Kamera zur Aufnahme des 3D-Bildes verwendet wird. Geeignete 3D-Kameras können beispielsweise ein Time-of-Flight-Sensor zur Durchführung einer LaufZeitmessung eines optischen Signals, ein Laserscanner und/oder eine Stereokamera sein. Darüber hinaus kann es ebenso zweckmäßig sein, im 3D-Bilderstellungsschritt das 3D-Bild durch ein Mehrbild-Rekonstruktionsverfahren aus einer Folge von mehreren, visuellen Bildern zu berechnen, insbesondere rechnergestützt zu berechnen. Die Folge aus mehreren visuellen Bildern kann beispielsweise mittels einer visuellen Kamera aufgenommen werden, wobei vorzugsweise die einzelnen visuellen Bilder aus unterschiedlichen Kameraposen aufgenommen werden. Ein geeignetes Verfahren kann hierbei beispielsweise das Structure-from-Motion-Verfahren sein. In order to create a 3D image in the 3D imaging step of the method according to the invention, it can be advantageous if an image recording device with a 3D camera is used to record the 3D image. Suitable 3D cameras may be, for example, a time-of-flight sensor for performing a runtime measurement of an optical signal, a laser scanner and / or a stereo camera. In addition, it may also be expedient in the 3D imaging step to calculate the 3D image by a multi-image reconstruction method from a sequence of multiple visual images, in particular to calculate it computer-assisted. The sequence of several visual images can be recorded, for example, by means of a visual camera, wherein preferably the individual visual images are taken from different camera poses. A suitable method here can be, for example, the structure-from-motion method.
Alternativ oder ergänzend kann im 3D-Bilderstellungsschritt erfindungsgemäß vorgesehen sein, dass ein Marker auf dem Objekt abgebildet wird, insbesondere auf das Objekt projiziert und/oder auf dem Ob ekt angebracht wird, und/oder eine Distanzmessung zwischen einer oder der bereits zuvor erwähnten Bildaufnahmevorrichtung und dem Objekt durchgeführt wird. Der Marker kann beispielsweise ein Muster, vorzugsweise aus mehreren Musterbestandteilen aufweisen, wobei eine Skalierung und/oder die Bestimmung der Raumrichtung des Objektes mit Hilfe des auf das Objekt abgebildeten Markers möglich ist. Die Distanzmessung kann zudem einen weiteren Parameter liefern, welcher zur Berechnung der Skalierung des Objekts heranziehbar ist . Alternatively or additionally, it can be provided according to the invention in the 3D imaging step that a marker is imaged on the object, in particular projected onto the object and / or attached to the object, and / or a distance measurement between one or the above-mentioned image acquisition device and the object is performed. Of the Marker may, for example, a pattern, preferably from several pattern components, with a scaling and / or the determination of the spatial direction of the object by means of the imaged on the object marker is possible. The distance measurement can also provide another parameter, which can be used to calculate the scaling of the object.
Es kann daher zweckmäßig sein, wenn ein Marker, vorzugsweise ein mechanischer Marker, mit dem Objekt abgebildet, beispielsweise durch eine Anordnung an oder nahe bei dem Objekt, wird, insbesondere wobei die Abmessungen des Markers bekannt sind. Dadurch kann/können eine Skalierung des Objektes und/oder eine Bestimmung der Raumrichtung des Objektes einfach bestimmt werden. Alternativ oder ergänzend dazu kann es gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung zweckmäßig sein, wenn der Marker als Laserkreuz auf das Objekt projiziert wird. Durch den Grad der Verzerrung des Laserkreuzes aus einer Kamerapose im aufgenommen Bild kann beispielsweise die Raumrichtung des Objektes genauer bestimmt werden. Hierbei kann ein Projektor, mit welchem das Laserkreuz projiziert wird oder projizierbar ist, mit der Bildaufnahmevorrichtung starr gekoppelt sein. Eine Skalierung: des aufgenommenen Objektes kann somit aus einem bekannten optischen Achsabstand (Baseline) mit bekannten Methoden ermittelt; werden. Darüber hinaus kann es alternativ oder ergänzend auch erfindungsgemäß vorgesehen sein, dass eine Mehrstrahl -Entfernungsmessung, insbesondere wobei die Einzelmessungen jeweils auf unterschiedliche Messpunkte am Objekt gerichtet sind, vorgenommen wird. Mittels der Mehrstrahl -Entfernungsmessung ist eine bessere Bestimmung der Raumrichtung des Objektes möglich. Vorzugsweise erfolgen eine Projektion und eine Aufnahme des visuellen Bildes und/oder des 3D-Bildes aus einer ortsfesten, insbesondere gekoppelten, Position. It may therefore be expedient if a marker, preferably a mechanical marker, is imaged with the object, for example by an arrangement at or close to the object, in particular wherein the dimensions of the marker are known. As a result, a scaling of the object and / or a determination of the spatial direction of the object can be easily determined. Alternatively or additionally, it may be expedient according to a further advantageous embodiment of the invention, when the marker is projected as a laser cross on the object. By the degree of distortion of the laser cross from a camera pose in the captured image, for example, the spatial direction of the object can be determined more accurately. In this case, a projector with which the laser cross is projected or can be projected, be rigidly coupled to the image pickup device. A scaling : of the recorded object can thus be determined from a known optical center distance (baseline) by known methods; become. In addition, it may alternatively or additionally also be provided according to the invention that a multi-beam distance measurement, in particular with the individual measurements being respectively directed to different measuring points on the object, is undertaken. By means of the multi-beam distance measurement, a better determination of the spatial direction of the object is possible. Preferably, a projection and a recording of the visual image and / or the 3D image take place from a fixed, in particular coupled, Position.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn das visuelle Bild und das 3D-Bild jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden. Bei dieser Konfiguration ist es ausreichend, wenn jeweils ein visuelles Bild und ein 3D-Bild aufgenommen werden. Besonders vorteilhaft ist darüber hinaus, dass eine möglichst einfache Projektion von Merkmalspunkten auf das geometrische Primitiv als Messpunkte möglich ist. In one embodiment of the method according to the invention, it may be expedient if the visual image and the 3D image are respectively recorded from a stationary, in particular from a coupled, camera pose. With this configuration, it is sufficient to take one visual image and one 3D image at a time. It is also particularly advantageous that the simplest possible projection of feature points on the geometric primitive is possible as measuring points.
Ein wesentlicher Nachteil vorbekannter Verfahren beruht darauf, dass zur Auswahl von wenigstens zwei Merkmalspunkten in einem manuellen Zwischenschritt eine gewisse Erfahrung notwendig ist. Beispielsweise kann es dabei erforderlich sein, dass der Benutzer eine hohe Klickgenauigkeit bei der Auswahl der Merkmalspunkte benötigt. Gemäß einer erfindungsgemäßen Ausgestaltung des Verfahrens kann es zweckmäßig sein, wenn die Auswahl von wenigstens zwei Merkmalspunkten imA significant disadvantage of previously known methods is based on the fact that for the selection of at least two feature points in a manual intermediate step, a certain amount of experience is necessary. For example, it may be necessary for the user to require a high degree of click accuracy when selecting the feature points. According to an embodiment of the method according to the invention, it may be expedient if the selection of at least two feature points in
Merkmalsdetekt ionsschritt durch eine rechnergestützte automatisierte Merkmalsdetektion vorgenommen wird. Der Benutzer muss bei der Aufnahme des Objektes lediglich darauf achten, nicht außerhalb des Objektes zu liegen. Eine derart hohe Genauigkeit, wie bei der manuellen Auswahl bei vorbekannten Verfahren, ist jedoch nicht erforderlich. Solange der Benutzer durch inhaltliche Kontrolle sicherstellt, dass er in dem identifizierten Objekt beziehungsweise dessen Ebene bleibt und nicht demgegenüber vorspringende oder rückspringende Einzelheiten anwählt, ist somit eine Platzierung von Merkmalspunkten zur erfindungsgemäßen Messung vereinfachbar. Alternativ oder ergänzend dazu kann es erfindungsgemäß ebenso denkbar sein, dass die Auswahl von wenigstens zwei Merkmalspunkten durch eine manuelle Merkmalsauswahl vorgenommen wird . Feature detection step is performed by a computer-aided automated feature detection. The user only has to be careful not to lie outside the object when taking the object. However, such high accuracy as in the manual selection in previously known methods, is not required. As long as the user ensures through content control that he remains in the identified object or its level and does not in contrast select protruding or recessing details, a placement of feature points for the measurement according to the invention is thus facilitated. Alternatively or additionally, it may also be conceivable according to the invention that the selection of at least two Feature points is made by a manual feature selection.
Alternativ oder ergänzend kann bei dem erfindungsgemäßen Verfahren vorgesehen sein, dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs rechnergestützt geprüft und/oder optimiert wird. Insbesondere kann dies derart vorgenommen werden, dass Ausreißer von 3D-Punkten, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge von 3D-Punkten bei der Einpassung des geometrischen Primitivs ausgenommen werden. Die Durchführung einer Plausibilitätsprüfung hat daher den Vorteil, dass die Raumrichtung des geometrischen Primitivs besonders genau berechenbar ist. Alternatively or additionally, it may be provided in the method according to the invention that the fit of the geometric primitive is checked and / or optimized in a plausibility check in a computer-aided manner. In particular, this can be done in such a way that outliers of 3D points, which are caused in particular by measurement errors, are excluded within a subset of 3D points during the fitting of the geometric primitive. The implementation of a plausibility check therefore has the advantage that the spatial direction of the geometric primitive can be calculated particularly accurately.
Besonders vorteilhaft kann es weiter sein, wenn bei dem erfindungsgemäßen Verfahren im Einpassungsschritt ein RA SAC- Verfahren und/oder ein Region-Growing-Verfahren angewendet wird. Durch diese Verfahren ist jeweils eine besonders gute Einpassung des geometrischen Primitivs in die Teilmenge von 3D- Punkten möglich. It can be particularly advantageous if, in the method according to the invention, an RA SAC method and / or a region-growing method is used in the fitting step. By these methods, a particularly good fit of the geometric primitive into the subset of 3D points is possible in each case.
Gemäß einer weiteren Ausgestaltungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das Objekt eine ebene und/oder rechteckige Fläche aufweist, für: die eine geometrische Messgröße bestimmt wird. Eine geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein. Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn für die Berechnung des 3D-Bildes eine LaufZeitmessung und/oder ein Structure - from- Motion-Verfahren verwendet wird. Eine geeignete LaufZeitmessung kann beispielsweise das Time-of-Flight-Verfahren sein. According to a further embodiment of the method according to the invention, provision can be made for the object to have a planar and / or rectangular surface, for which a geometric measured variable is determined. A geometrical measured variable can be, for example, a spatial distance and / or an area. According to a further embodiment of the method according to the invention, it may be expedient if a run-time measurement and / or a structure-from-motion method is used for the calculation of the 3D image. A suitable running time measurement may be, for example, the time-of-flight method.
Bei einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann alternativ oder ergänzend vorgesehen sein, dass eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des 3D-Bildes automatisiert und/oder rechnergestützt vorgenommen wird. Die Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers sollte idealerweise vor Erstellung eines 3D-Bildes aus mehreren visuellen Bildern, bei den dazu verwendeten, visuellen Bildern erfolgen. Es kann alternativ oder ergänzend dazu erfindungsgemäß vorgesehen sein, dass dieIn a further embodiment of the method according to the invention, it may alternatively or additionally be provided that a distortion correction and / or a correction of a local aberration of the visual image or the visual images and / or the 3D image is carried out automatically and / or computer-assisted. The distortion correction and / or a correction of a local aberration should ideally be done before creating a 3D image from multiple visual images, the visual images used for this purpose. It may alternatively or additionally be provided according to the invention that the
Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers vor dem Einpassungsschritt vorgenommen wird. Durch einen Verzeichnungskorrekturschritt kann somit die Genauigkeit bei der Bestimmung einer geometrischen Messgröße erhöht werden. Ferner kann die rechnergestützte und/oder automatisierte Verzeichnungskorrektur und/oder Korrektur eines lokalen Abbildungsfehlers eine schnelle Berechnung der geometrischen Messgröße ermöglichen. Distortion correction and / or a correction of a local aberration before the fitting step is made. By means of a distortion correction step, the accuracy in determining a geometric measurement variable can thus be increased. Furthermore, the computer-aided and / or automated distortion correction and / or correction of a local aberration can enable a rapid calculation of the geometrical measurand.
Die genannte Aufgabe wird auch gelöst durch die Merkmale des unabhängigen auf eine Bildaufnahmevorrichtung gerichteten Anspruchs. Insbesondere wird somit erfindungsgemäß eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes, mit: The above object is also achieved by the features of the independent claim directed to an image pickup apparatus. In particular, according to the invention, an image recording device for determining a geometrical measured variable of an object is thus provided, with:
- einer visuellen Kamera zur Aufnahme wenigstens eines visuellen Bildes und einer 3D-Kamera zur Aufnahme eines SD- Bildes oder einer visuellen Kamera zur Aufnahme einer Folge mehrerer visueller Bilder und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes aus der Folge mehrerer visueller Bilder, a visual camera for capturing at least one visual image and a 3D camera for capturing an SD image or a visual camera for capturing a sequence of a plurality of visual images and a 3D imaging unit for calculating a 3D image from the sequence of several visual images,
- einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge von 3D-Punkten des 3D-Bildes,  a point cloud calculation unit for calculating a subset of 3D points of the 3D image,
- einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs in die Teilmenge von 3D-Punkten,  a fitting unit for fitting a geometric primitive into the subset of 3D points,
- einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei Merkmalspunkten in dem wenigstens einen visuellen Bild,  a feature detection unit for manually and / or automatically selecting at least two feature points in the at least one visual image,
- einer Proj ektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte,  a projection unit for projecting the at least two feature points onto the geometric primitive as at least two measurement points,
- einer Berechnungseinheit zur Berechnung der geometrischen Messgröße für die wenigstens zwei Messpunkte  - A calculation unit for calculating the geometric measurement variable for the at least two measuring points
vorgeschlagen. proposed.
Die erfindungsgemäße Bildaufnahmevorrichtung hat gegenüber vorbekannten Bildaufnahmevorrichtungen beispielsweise den Vorteil, dass damit die Berechnung einer geometrischen Messgröße eines Objektes insbesondere ohne manuellen Zwischenschritt, welcher beispielsweise mittels eines weiteren Eingabegerätes, wie einem PC, durchgeführt werden muss . Der Benutzer kann mittels der erfindungsgemäßenThe image recording device according to the invention has, for example, the advantage over prior art image recording devices that it requires the calculation of a geometrical measured variable of an object, in particular without a manual intermediate step, which must be carried out, for example, by means of a further input device, such as a PC. The user can by means of the invention
Bildaufnahmevorrichtung direkt vor Ort eine Messung vornehmen und erhält auch direkt vor Ort ein Ergebnis. Vorzugsweise sind alle Funktionseinheiten der erfindungsgemäßenImaging device directly on site make a measurement and also receives a result directly on site. Preferably, all functional units of the invention
Bildaufnahmevorrichtung derart programmierbar, dass diese automatisiert arbeiten können. Bei einer bestimmten Ausgestaltung kann es allerdings zweckmäßig sein, wenn die Merkmalsauswahl zumindest optional manuell durch den Benutzer ausführbar ist. Image recording device so programmable that they can work automatically. In a specific embodiment, however, it may be expedient if the feature selection is at least optionally manually executable by the user.
Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann es zweckmäßig sein, wenn die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes zu bestimmen, vorzugsweise rechnergestützt automatisch zu berechnen. Eine Bestimmung der Raumrichtung eines 3D-Punktes kann den Vorteil haben, dass die 3D-Punkte gemäß ihren Raumrichtungen von Teilmengen von 3D- Punkten rechnergestützt zuordenbar sind. Daher kann die Punktwolkenberechnungseinheit derart eingerichtet sein, um die 3D-Punkte gemäß ihren Raumrichtungen zu Teilmengen von SD- Punkten zuordnen zu können. Insbesondere kann die Punktwolkenberechnungseinheit dazu eingerichtet sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene rechnergestützt bestimmbar ist, und anschließend daraus ein Normalenvektor rechnergestützt berechnet wird. Eine. Einordnung zu Teilmengen der 3D-Punkte kann daher beispielsweise gemäß Ihren Normalenvektoren erfolgen. According to a preferred embodiment of the image pickup device according to the invention, it may be expedient if the Point cloud calculation unit is set up to determine a spatial direction of a 3D point, preferably calculated automatically supported computer-aided. A determination of the spatial direction of a 3D point can have the advantage that the 3D points can be assigned in a computer-assisted manner according to their spatial directions of subsets of 3D points. Therefore, the point cloud calculation unit can be set up so that the 3D points can be assigned to subsets of SD points according to their spatial directions. In particular, the point cloud calculation unit can be set up such that for each 3D point, firstly a local level can be determined computer-aided, and then a normal vector is computed from it computer-assisted. A. For example, classification into subsets of the 3D points can be done according to your normal vectors.
Alternativ oder ergänzend kann bei einer weiteren bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen sein, dass die Bildaufnahmevorrichtung eine Plausibilitätsprüfungseinrichtung zur Prüfung und/oder zur Optimierung des geometrischen Primitivs aufweist.Alternatively or additionally, it can be provided in a further preferred refinement of the image recording device according to the invention that the image recording device has a plausibility check device for checking and / or optimizing the geometric primitive.
Beispielsweise kann es zweckmäßig sein, wenn die Plausibil itätsprüfungseinrichtung dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten und den tatsächlichen Punkten des geometrischen Primitivs vorliegt. Die tatsächlichen Punkte des geometrischen Primitivs beziehen sich auf solche Punkte, welche direkt auf dem geometrischen Primitiv liegen. Durch die Plausibilitätsprüfungseinrichtung ist es daher möglich, eine erhöhte Genauigkeit bei der Berechnung der geometrischen Messgröße zu erreichen. For example, it may be expedient if the plausibility checking device is set up to perform an optimization of the geometric primitive until there is a minimized discrepancy between the 3D points and the actual points of the geometric primitive. The actual points of the geometric primitive refer to those points that lie directly on the geometric primitive. The plausibility check device therefore makes it possible to achieve increased accuracy in the calculation of the geometric measured variable.
Besonders zweckmäßig kann es sein, wenn bei der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen ist, dass die visuelle Kamera zur Aufnahme wenigstens eines visuellen Bildes und die 3D-Kamera miteinander gekoppelt sind. Eine Kopplung kann insbesondere dadurch eingerichtet sein, dass die beiden Kameras über ein Verbindungselement, vorzugsweise in einem definierten und/oder einstellbaren Abstand, miteinander verbunden sind oder miteinander verbindbar: sind. Durch diese erfindungsgemäße Ausgestaltung einer Bildaufnahmevorrichtung kann es möglich sein, eine geometrische Messgröße eines Objektes bereits durch Aufnahme nur eines einzelnen visuellen Bildes und nur eines einzelnen 3D-Bildes zu ermöglichen. It may be particularly useful if at the Image pickup device according to the invention is provided, that the visual camera for receiving at least one visual image and the 3D camera are coupled together. A coupling can be set up in particular in that the two cameras are connected to one another via a connecting element, preferably at a defined and / or adjustable distance, or are connectable to one another. By means of this embodiment of an image recording apparatus according to the invention, it may be possible to enable a geometrical measured variable of an object already by recording only a single visual image and only a single 3D image.
Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann alternativ oder ergänzend vorgesehen sein, dass diese Bildaufnahmevorrichtung eine Gruppierungseinheit aufweist. Die Gruppierungseinheit kann dazu eingerichtet sein, eine Durchführung einesAccording to a further embodiment of the image recording device according to the invention, it may alternatively or additionally be provided that this image recording device has a grouping unit. The grouping unit may be configured to perform an implementation of a
Gruppierungsschrittes rechnergestützt auszuführen, insbesondere wobei für jeden 3D-Punkt eine Raumrichtung bestimmbar ist und die 3D-Punkte gemäß ihrer Raumrichtung einer Teilmenge von 3D- Punkten rechnergestützt zuordenbar sind. Insbesondere kann vorgesehen sein, dass die Punktwolkenberechnungseinheit und die Gruppierungseinheit als eine einzelne Einheit ausgebildet sind. Besonders zweckmäßig kann es sein, wenn für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechenbar ist. Performing grouping step computerized, in particular wherein for each 3D point, a spatial direction can be determined and the 3D points are assigned according to their spatial direction of a subset of 3D points computer-aided. In particular, it can be provided that the point cloud calculation unit and the grouping unit are designed as a single unit. It can be particularly expedient if, for each 3D point, first a local level and from this a normal vector can be computed in a computer-aided manner.
Die erfindungsgemäße Bildaufnahmevorrichtung, wie hierin beschrieben und beansprucht, kann vorzugsweise dazu eingerichtet sein, das erfindungsgemäße Verfahren, wie hierin beschrieben und beansprucht, ausführen zu können. Aus diesem Grund ergeben sich für die erfindungsgemäße Ausgestaltung einer solchen Bildaufnahmevorrichtung die gleichen Vorteile, wie die Vorteile, welche zuvor für das erfindungsgemäße Verfahren bereits beschrieben wurden. The image acquisition device of the invention as described and claimed herein may be preferably adapted to carry out the method of the invention as described and claimed herein. For this reason, for the inventive design of such an image pickup device, the same advantages as the Advantages which have already been described above for the method according to the invention.
Gemäß einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Bildaufnahmevorrichtung kann vorgesehen sein, dass die Bildaufnahmevorrichtung eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des SD- Bildes aufweist. Insbesondere kann diese Korrektureinheit dazu eingerichtet sein, dass ein auszuführender Korrekturschritt, beispielsweise vor Erstellung eines 3D-Bildes aus einer Folge von visuellen Bildern, bei allen visuellen Bildern aus der Folge erfolgt und/oder dass ein auszuführender Korrekturschritt vor Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte erfolgt. According to a particularly advantageous embodiment of the image recording device according to the invention, it can be provided that the image recording device is a correction unit for performing, in particular for automated and / or computer-aided implementation, distortion correction and / or correction of a local aberration of the visual image or images and / or the SD image has. In particular, this correction unit can be set up such that a correction step to be carried out, for example before a 3D image is produced from a sequence of visual images, takes place from the sequence for all visual images and / or that a correction step to be performed prior to projection of the at least two feature points on the geometric primitive takes place as at least two measurement points.
Die Erfindung wird nun anhand eines Anwendungsbeispiels näher beschrieben, ist jedoch nicht auf dieses Anwendungsbeispiel beschränkt. Weitere erfindungsgemäße Anwendungsbeispiele ergeben sich durch die Kombination einzelner und/oder mehrerer Merkmale der Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Anwendungsbeispiels . The invention will now be described in more detail with reference to an application example, but is not limited to this application example. Further application examples according to the invention result from the combination of individual and / or several features of the protection claims with one another and / or with one or more features of the application example.
Es zeigt : It shows :
Fig. 1 eine vereinfachte schematische Darstellung eines visuellen Bildes, auf welchem ein Objekt in einer bestimmten Perspektive abgebildet ist, 1 is a simplified schematic representation of a visual image on which an object is shown in a certain perspective,
Fig. 2 eine vereinfachte schematische Darstellung in Fig. 2 is a simplified schematic representation in
Draufsicht einer erfindungsgemäßen Ausführungsform der Bildaufnahmevorrichtung, welche zur Vermessung eines Objektes verwendet wird, Top view of an embodiment of the invention the image pickup device used to measure an object,
Fig. 3 zwei Untermengen von 3D-Punkten eines 3D-Bildes des Fig. 3 shows two subsets of 3D points of a 3D image of the
Objektes, welche einmal als ausgefüllte und einmal als nichtausgefüllte Punkte abgebildet sind, wobei in eine Teilmenge von 3D-Punkten (ausgefüllte 3D-Punkte) ein geometrisches Primitiv eingepasst ist,  Objects which are once represented as filled and once as non-filled points, whereby in a subset of 3D points (filled 3D points) a geometrical primitive is fitted,
Fig. 4 eine Projektion von zwei Merkmalspunkten, die in dem visuellen Bild ausgewählt sind, auf das geometrische Primitiv gemäß Figur 3, zur Berechnung der geometrischen Messgröße, der auf das geometrische Primitiv projizierten korrespondierenden Messpunkte, 4 shows a projection of two feature points selected in the visual image onto the geometric primitive according to FIG. 3 for the calculation of the geometric measurement variable, the corresponding measurement points projected onto the geometric primitive,
Fig. 5 ein visuelles Bild mit einer stark verzerrenden Fig. 5 is a visual image with a strong distorting
Abbildung mit einem daraus resultierenden Messfehler zwischen den Kanten des abgebildeten Objektes,  Image with a resulting measurement error between the edges of the imaged object,
Fig. 6 ein durch Verzeichnungskorrektur korrigiertes visuelles Bild des Objektes. Fig. 6 is a corrected by distortion correction visual image of the object.
In Figur 1 ist eine erfindungsgemäße Bildaufnahmevorrichtung 1 und in den Figuren 2 und 3 3 sind Schritte eines erfindungsgemäßen Verfahrens in vereinfachter schematischer Weise, wie sie beispielsweise mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 ausführbar sind, dargestellt. FIG. 1 shows an image recording device 1 according to the invention and FIGS. 2 and 3 show steps of a method according to the invention in a simplified schematic manner, as can be carried out, for example, by means of the image recording device 1 according to the invention.
Die Bildaufnahmevorrichtung 1 ist zur Bestimmung einer geometrischen Messgröße 3 eines Objektes 2 eingerichtet. Die Bildaufnahmevorrichtung 1 weist gemäß der vorliegenden erfindungsgemäßen Ausführungsform eine visuelle Kamera 16 und eine 3D-Kamera 15 auf. Die beiden Kameras 15, 16 sind über ein Verbindungselement 18 in einem vorzugsweise definierten und/oder einstellbaren Abstand miteinander gekoppelt. Diese erfindungsgemäße Ausgestaltung weist den Vorteil auf, dass keine Entfernungsmessung zur Bestimmung der geometrischen Messgröße 3 erforderlich ist. The image recording device 1 is set up to determine a geometrical measured variable 3 of an object 2. According to the present embodiment, the image pickup device 1 has a visual camera 16 and a 3D camera 15. The two cameras 15, 16 are over Connecting element 18 coupled together in a preferably defined and / or adjustable distance. This embodiment according to the invention has the advantage that no distance measurement is required to determine the geometric measured variable 3.
Alternativ kann es jedoch auch denkbar sein, dass die erfindungsgemäße Bildaufnahmevorrichtung 1 lediglich eine visuelle Kamera 16 zur Aufnahme einer Folge mehrerer visueller Bilder 4 und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes 5 aus der Folge mehrerer visueller Bilder 4 aufweist (nicht dargestellt) . Darüber hinaus kann es dabei vorgesehen sein, dass eine derart ausgestalteteAlternatively, however, it may also be conceivable that the image recording device 1 according to the invention has only one visual camera 16 for recording a series of multiple visual images 4 and one 3D imaging unit for calculating a 3D image 5 from the sequence of multiple visual images 4 (not shown). , In addition, it may be provided that such a configured
Bildaufnahmevorrichtung 1 eine Entfernungsmesseinheit aufweist. Des Weiteren kann die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Projektoreinheit zur Projektion eines, insbesondere visuellen, Markers auf das Objekt 2, insbesondere auf eine Objektebene 19, aufweisen. Image pickup device 1 has a distance measuring unit. Furthermore, the image recording device 1 according to the invention can have a projector unit for the projection of a, in particular visual, marker on the object 2, in particular on an object plane 19.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist weiter eine Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge 8 von 3D-Punkten 6 des 3D-Bildes 5 auf. Zur Einpassung eines geometrischen Primitivs 7, welches wie im vorliegenden Fall beispielsweise als eine Ebenenteil ausgestaltet sein kann, in die Teilmenge 8 von 3D-Punkten 6 weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Einpassungseinheit auf. Die Bildaufnahmevorrichtung 1 weist darüber hinaus eine Merkmalsdetekt ionseinheit auf, welche beispielsweise dazu eingerichtet sein kann, um mittels einer manuellen Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild vornehmen zu können. Alternativ oder ergänzend dazu kann ebenso vorgesehen sein, dass die Merkmalsdetektionseinheit derart eingerichtet ist, insbesondere programmierbar ist, um eine automatische Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild 4 vornehmen zu lassen. Um eine bestimmte Raumrichtung 20 des Objektes 2 bei der Berechnung der geometrischen Messgröße 3 berücksichtigen zu können, weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Proj ektionseinheit zur Projektion 11 der wenigstens zwei ausgewählten Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 als wenigstens zwei Messpunkte 12, 13 auf. Durch die Projektion 11 der Merkmalspunkte 9, 10 als Messpunkte 12, 13 auf das geometrische Primitiv 7 kann die geometrische Messgröße 3 für die wenigstens zwei Messpunkte 12, 13 bestimmt werden. Die Raumrichtung 14, insbesondere die Verlaufsrichtung, des geometrischen Primitivs 7 entspricht dabei annähernd oder vollständig der tatsächlichen Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2. The image recording device 1 according to the invention also has a point cloud calculation unit for calculating a subset 8 of 3D points 6 of the 3D image 5. For fitting a geometrical primitive 7, which, as in the present case, may for example be designed as a plane part, into the subset 8 of 3D points 6, the image recording device 1 according to the invention has an adaptation unit. The image recording device 1 furthermore has a feature detection unit which, for example, can be set up in order to be able to perform in the visual image by means of a manual selection of at least two feature points 9, 10. Alternatively or additionally, it can also be provided that the feature detection unit is set up in such a way, in particular programmable, to automatically select at least two feature points 9, 10 make in the visual image 4. In order to be able to take account of a specific spatial direction 20 of the object 2 in the calculation of the geometric measured variable 3, the image recording device 1 according to the invention has a projection unit for the projection 11 of the at least two selected feature points 9, 10 on the geometric primitive 7 as at least two measuring points 12, 13 on. By the projection 11 of the feature points 9, 10 as measuring points 12, 13 onto the geometric primitive 7, the geometric measured variable 3 for the at least two measuring points 12, 13 can be determined. The spatial direction 14, in particular the course direction, of the geometric primitive 7 corresponds approximately or completely to the actual spatial direction 20, in particular the course direction, of the object 2.
Wie in Figur 1 zu sehen ist, können die 3D-Punkte 6 des SD- Bildes 5 Ungenauigkeiten aufweisen, weshalb diese nicht genau auf einer Ebene, insbesondere auf einer der Objektebene 19 entsprechenden Ebene, liegen, sondern teilweise abweichend außerhalb der Ebene positioniert sind. Durch Einpassung eines geometrischen Primitivs 7, wie in Figur 2 gezeigt ist, ist es möglich, eine Ausgleichsebene durch die Teilmenge 8 von 3D- Punkten 6 zu legen, um die Raumrichtung 20 des Objektes 2 bestimmen zu können. Bei der Einteilung der 3D-Punkte 6 in Teilmengen 8 wird zunächst die jeweilige Raumrichtung jedes 3D- Punktes 6 berechnet und berücksichtigt, um schließlich eine Einteilung vorzunehmen. As can be seen in FIG. 1, the 3D points 6 of the SD image 5 can have inaccuracies, which is why they do not lie exactly on a plane, in particular on a plane corresponding to the object plane 19, but are partially positioned outside the plane. By fitting a geometric primitive 7, as shown in FIG. 2, it is possible to lay a compensation plane through the subset 8 of 3D points 6 in order to be able to determine the spatial direction 20 of the object 2. When dividing the 3D points 6 into subsets 8, the respective spatial direction of each 3D point 6 is first calculated and taken into account in order to finally perform a classification.
Anschließend ist es möglich, wie in Figur 3 gezeigt ist, durch Auswahl wenigstens eines ersten Merkmalspunkt 9 und eines zweiten Merkmalspunkt 10 in dem visuellen Bild 4, welches durch die Bildaufnahmevorrichtung 1, beispielsweise durch eine Anzeigeeinheit, anzeigbar ist, manuell und/oder automatisch auszuwählen . Subsequently, as shown in FIG. 3, it is possible to manually and / or automatically select at least a first feature point 9 and a second feature point 10 in the visual image 4 which can be displayed by the image capture device 1, for example by a display unit to select.
Durch die Projektion 11 der Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 können für die wenigstens zwei Merkmalspunkte 9, 10 korrespondierende Messpunkte 12, 13 vorzugsweise rechnergestützt berechnet werden. As a result of the projection 11 of the feature points 9, 10 onto the geometric primitive 7, corresponding measuring points 12, 13 corresponding to the at least two feature points 9, 10 can preferably be calculated computer-assisted.
Anschließend kann mittels der Berechnungseinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Berechnung der geometrischen Messgröße 3, welche wie hier beispielsweise eine räumliche Distanz zwischen den beiden Merkmalspunkten 9, 10 des Objektes 2 ist, vorgenommen werden. Subsequently, by means of the calculation unit of the image recording device 1 according to the invention, a calculation of the geometrical measured variable 3, which is a spatial distance between the two feature points 9, 10 of the object 2, as here, for example.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist ferner eine Verzeichnungskorrektureinheit auf, mittels welcher eine Korrektur eines lokalen Fehlers der Abbildung des visuellen Bildes 4 und/oder des 3D-Bildes 5, vorzugsweise automatisiert und/oder rechnergestützt, vornehmbar ist. In den Fig. 4 bis 6 ist in schemenhafter Ausführung der Ablauf der Verarbeitung eines mittels der visuellen Kamera 16 aufgenommenen visuellen Bildes 4 dargestellt. Ein visuelles Bild 4 und/oder ein 3D-Bild kann beispielsweise aufgrund von Verzeichnungsfehlern und/oder aufgrund der Aufnahme des Bildes mittels einer Fischaugenkamera die Kanten des Objektes 17 ungerade abbilden, obwohl diese Kanten 17 in Wirklichkeit geradlinig verlaufen. Im in Figur 4 dargestellten Fall weist das visuelle Bild 4 des Objektes 2 eine tonnenförmige Verzeichnung auf. Wie in Figur 5 dargestellt ist, kann mittels der Verzeichnungskorrektureinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Verzeichnungskorrektur, insbesondere automatisiert und rechnergestützt, vorgenommen werden, so dass ein verzeichnungsfreies visuelles Bild 4 entsteht (siehe korrigiertes visuelles Bild 4 in Figur 5) . In Figur 6 ist eine orthogonale Darstellung des visuellen Bildes 4 (als Draufsicht und/oder Orthobild bzw. Orthofoto) gezeigt, welche mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1, insbesondere aus dem verzeichnungsfreien visuellen Bild 4, erstellbar ist. The image recording device 1 according to the invention further comprises a distortion correction unit, by means of which a correction of a local error of the image of the visual image 4 and / or the 3D image 5, preferably automated and / or computer-aided, is vornehmbar. In FIGS. 4 to 6, the sequence of processing of a visual image 4 recorded by means of the visual camera 16 is shown schematically. For example, a visual image 4 and / or a 3-D image may oddly image the edges of the object 17 due to distortion errors and / or due to the capture of the image by a fisheye camera, although these edges 17 are in fact rectilinear. In the case illustrated in FIG. 4, the visual image 4 of the object 2 has a barrel-shaped distortion. As shown in FIG. 5, by means of the distortion correction unit of the image recording device 1 according to the invention, a distortion correction, in particular automated and computer-assisted, can be performed so that a distortion-free visual image 4 is produced (see corrected visual image 4 in FIG. 5). In Figure 6 is a shown orthogonal representation of the visual image 4 (as a top view and / or ortho-image or ortho-photo), which can be created by means of the image pickup device 1 according to the invention, in particular from the distortion-free visual image 4.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 ist weiter zur Durchführung des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, eingerichtet, wobei vorzugsweise alle Verfahrensschritte rechnergestützt, vorzugsweise automatisiert, durchführbar sind, ausgenommen desThe image recording device 1 according to the invention is further adapted for carrying out the method according to the invention, as described and claimed herein, wherein preferably all method steps are computer-aided, preferably automated, feasible, except for
Merkmalsdetektionsschritts , welcher wahlweise automatisiert und/oder manuell durchführbar ist. Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, ist also die Lage sowie die Orientierung einer Bildaufnahmevorrichtung relativ zum Objekt 2 bekannt oder ermittelbar. Feature detection step, which is optionally automated and / or manually carried out. In the method according to the invention, as described and claimed herein, therefore, the position and the orientation of an image recording device relative to the object 2 are known or ascertainable.
Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, beziehungsweise bei Verwendung der erfindungsgemäßen Bildaufnahmevörrichtung 1, wie hierin beschrieben und beansprucht, ist es daher nicht erforderlich, beispielsweise mittels einer Fotoaufmaß-Software manuell mehrere Einrichtungsschritte durchzuführen. Insbesondere entfallen dabei manuelle Schritte, mittels welchen eine Linsenverzeichnung korrigiert, eine perspektivische Abbildung eingerichtet und/oder eine Skalierung eingerichtet werden muss/müssen. All diese Schritte können mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 und/oder mittels des erfindungsgemäßen Verfahrens automatisiert vorgenommen werden. Damit entfallen für den Benutzer komplizierte und fehleranfällige Einrichtungsschritte. Vielmehr kann er direkt vor Ort ein Objekt, insbesondere die Geometrie eines Objektes, vermessen . Um eine rechnergestützte automatisierte Merkmalsauswahl , insbesondere mittels der Merkmalsdetektionseinheit vornehmen zu können, kann es zweckmäßig sein, wenn dies über eine Merkmalsextraktion erfolgt. Ein weiterer Vorteil kann es sein, wenn ein geometrisches Primitiv 7 bereits durch Erfassung einer Anzahl von zumindest drei 3D-Punkten 6 möglich ist, um die Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2 bestimmen zu können. Umso mehr 3D-Punkte 6 einer Teilmenge 8 bei der Einpassung berücksichtigt werden, umso höher ist in der Regel die Genauigkeit der Raumrichtung 14 des geometrischen Primitivs 7 bezogen auf die Raumrichtung 20 des Objektes 2, wobei Ausreißer ausgenommen werden können. In the method according to the invention, as described and claimed herein, or when using the image-recording device 1 according to the invention as described and claimed herein, it is therefore not necessary, for example by means of a photo-measurement software, to manually perform a plurality of device steps. In particular, manual steps by means of which a lens distortion can be corrected, a perspective image set up and / or a scaling set up must be eliminated. All these steps can be carried out automatically by means of the image recording device 1 according to the invention and / or by means of the method according to the invention. This eliminates complicated and error-prone setup steps for the user. Rather, he can measure directly on site an object, in particular the geometry of an object. In order to be able to carry out a computer-aided automated feature selection, in particular by means of the feature detection unit, it may be expedient if this takes place via a feature extraction. A further advantage may be if a geometrical primitive 7 is already possible by detecting a number of at least three 3D points 6 in order to be able to determine the spatial direction 20, in particular the course direction, of the object 2. The more 3D points 6 of a subset 8 are taken into account during the fitting, the higher is the accuracy of the spatial direction 14 of the geometric primitive 7 with respect to the spatial direction 20 of the object 2, wherein outliers can be excluded.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Bildaufnahmevorrichtung 1 image pickup device
2 Objekt  2 object
3 geometrische Messgröße  3 geometric measurand
4 visuelles Bild  4 visual image
5 3D-Bild  5 3D image
6 3D-Punkt  6 3D point
7 geometrisches Primitiv  7 geometric primitive
8 Teilmenge von 3D-Punkten  8 subset of 3D points
9 erster Merkmalspunkt  9 first feature point
10 zweiter Merkmalspunkt  10 second feature point
11 Projektion der Merkmalspunkte  11 projection of the feature points
12 erster Messpunkt  12 first measuring point
13 zweiter Messpunkt  13 second measuring point
14 Raumrichtung des geometrischen Primitivs 14 Spatial direction of the geometric primitive
15 3D-Kamera 15 3D camera
16 visuelle Kamera  16 visual camera
17 Kante des Objektes  17 edge of the object
18 Verbindungselement  18 connecting element
19 Obj ektebene  19 Obj ektebene
20 Raumrichtung des Objektes  20 spatial direction of the object

Claims

Ansprüche Verfahren zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), wobei: in einem Aufnahmeschritt zumindest ein visuelles Bild(4) des Objektes (2) aufgenommen wird, in einem 3D-Bilderstellungsschritt ein maßstabsgetreues 3D-Bild (5) des Objektes (2) aufgenommen und/oder rechnergestützt berechnet wird, in einem Punktwolkenberechnungsschritt eine Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes (5) rechnergestützt berechnet wird, in einem Einpassungsschritt für die Teilmenge (8) aus 3D-Punkten (6) ein geometrisches Primitiv (7) rechnergestützt eingepasst wird, in einem Merkmalsdetektionsschritt eineMerkmalsauswahl auf das zumindest eine visuelle Bild (4) angewandt wird, um wenigstens zwei Merkmalspunkte (9, 10) in dem visuellen Bild (4) zu identifizieren, in einem Projektionsschritt die wenigstens zwei Merkmalspunkte (9, 10) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) rechnergestützt projiziert werden, in einem Berechnungsschritt eine geometrische Messgröße (3) für die wenigstens zwei Messpunkte (12, 13) rechnergestützt berechnet wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Einpassungsschritt als zumindest ein geometrisches Primitiv (7) ein vorzugsweise parametrierter und/oder berandeter Kegelmantelteil, Zylindermantelteil und/oder ein Ebenenteil verwendet wird und/oder dass vor Durchführung des Einpassungsschritts in einem Gruppierungsschritt für jeden 3D-Punkt (6) eine Raumrichtung rechnergestützt bestimmt wird, wobei die 3D- Punkte (6) gemäß ihrer Raumrichtungen der Teilmenge (8) rechnergestützt zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im 3D-Bilderstellungsschritt ein 3D-Bild (5) durch eine Bildaufnahmevorrichtung (1) mit einer 3D-Kamera (15), insbesondere einem Time-of -Flight-Sensor, einemLaserscanner oder einer Stereokamera, aufgenommen wird oder dass das 3D-Bild (5) durch eine Mehrbild- Rekonstruktion aus einer Folge von mehreren visuellen Bildern (4) , welche insbesondere mittels einer Bildaufnahmevorrichtung (1) mit einer visuellen Kamera (16) aufgenommen wurden, vorzugsweise durch eine Structure-from-Motion-Verfahren, berechnet wird und/oder dass im 3D-Bilderstellungsschritt ein Marker auf das Objekt (2) abgebildet wird und/oder eine Distanzmessung zwischen einer oder der Bildaufnahmevorrichtung (1) und dem Objekt (2) durchgeführt wird. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das visuelle Bild (4) und das 3D-Bild (5) jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auswahl von wenigstens zwei Merkmalspunkten (12, 13) im Merkmalsdetektionsschritt durch eine rechnergestützte automatisierteMerkmalsdetektion vorgenommen wird und/oder durch eine manuelle Merkmalsauswahl vorgenommen wird und/oder dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs (7) rechnergestützt geprüft und/oder optimiert wird, insbesondere derart, dass Ausreißer, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge (8) von 3D- Punkten (6): bei der Einpassung des geometrischen Primitivs (7) ausgenommen werden. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass im Einpassungsschritt ein RANSAC- Verfahren und/oder ein Region-Growing-Verfahren angewendet wird und/oder dass das Objekt (2) eine ebene, insbesondere rechteckige, Fläche aufweist für die eine geometrische Messgröße (3), insbesondere eine räumliche Distanz und/oder ein Flächeninhalt, bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für die Berechnung des 3D-Bildes (5) eine LaufZeitmessung und/oder ein Structure- from-Motion- Verfahren verwendet wird und/oder dass in einem Verzeichnungskorrekturschritt eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) rechnergestützt vorgenommen wird. Bildaufnahmevorrichtung (1) zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), mit: einer visuellen Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und einer 3D-Kamera (15) zur Aufnahme eines 3D-Bildes (5) oder einer visuellen Kamera (16) zur Aufnahme einer Folge mehrerer visueller Bilder (4) und einer SD-Bilderstellungseinheit zur Berechnung eines 3D-Bildes(5) aus der Folge mehrerer visueller Bilder (4) , einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes(5), einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs (7) in die Teilmenge (8) von 3D-Punkten (6) , einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei erkmalspunkten (9, 10) in dem visuellen Bild (4) , einer Proj ektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13), einer Berechnungseinheit zur Berechnung der geometrischen Messgröße (3) für die wenigstens zwei Messpunkte (12, 13) . Bildaufnahmevorrichtung (1) nach Anspruch 8, dadurch gekennzeichnet, dass die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes (6) zu bestimmen, insbesondere um 3D- Punkte (6) gemäß ihren Raumrichtungen zu Teilmengen (8) von 3D-Punkten (6) zuordnen zu können, und/oder dass dieBildaufnahmevorrichtung (1) einePlausibilitätsprüfungseinrichtung zur Prüfung und/oder Optimierung des geometrischen Primitivs (7) aufweist, insbesondere wobei diese dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs (7) vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten (6) und den tatsächlichen Punkten des geometrischen Primitivs vorliegt. 0. Bildaufnahmevorrichtung (1) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die visuelle Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und die SD- Kamera (15) miteinander gekoppelt sind, insbesondere derart, dass sie über ein Verbindungselement (18), vorzugsweise in einem definierten oder einstellbaren Abstand, miteinander verbunden sind und/oder dass die Bildaufnahmevorrichtung (1) eine Gruppierungseinheit aufweist, zur Durchführung eines Gruppierungsschritts, wobei für jeden 3D-Punkt (6) eine Raumrichtung bestimmbar ist oder bestimmt wird und die 3D-Punkte gemäß ihrer Raumrichtungen einer Teilmenge (8) rechnergestützt zuordenbar sind oder zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor berechnet wird oder berechenbar ist. A method for determining a geometric measured variable (3) of an object (2), wherein: in a recording step at least one visual image (4) of the object (2) is taken, in a 3D imaging step, a true-to-scale 3D image (5) of the Object (2) is recorded and / or computationally calculated, in a point cloud calculation step a subset (8) of 3D points (6) of the 3D image (5) is computationally calculated, in a fitting step for the subset (8) of 3D In a feature detection step, a feature selection is applied to the at least one visual image (4) to identify at least two feature points (9, 10) in the visual image (4) a projection step, the at least two feature points (9, 10) are projected on the geometric primitive (7) as at least two measuring points (12, 13) computer-assisted, in a calculation step t a geometrical measured variable (3) for the at least two measuring points (12, 13) is calculated computer-assisted. A method according to claim 1, characterized in that in the fitting step as at least one geometrical primitive (7) a preferably parameterized and / or bound cone shell part, cylinder shell part and / or a plane part is used and / or that before performing the fitting step in a grouping step for each 3D point (6) a spatial direction is determined computer-aided, the 3D points (6) according to their spatial directions of the subset (8) are assigned computer-aided, in particular such that for each 3D point (6) first a local level and therefrom a normal vector is calculated computer-aided. A method according to claim 1 or 2, characterized in that in the 3D imaging step, a 3D image (5) by an image pickup device (1) with a 3D camera (15), in particular a time-of-flight sensor, a laser scanner or a Stereocamera, or that the 3D image (5) by a multi-image reconstruction of a series of multiple visual images (4), which in particular by means of an image pickup device (1) with a visual camera (16) were taken, preferably by a Structure-from-motion method, is calculated and / or that in the 3D imaging step, a marker on the object (2) is imaged and / or a distance measurement between one or the image pickup device (1) and the object (2) is performed. Method according to one of claims 1 to 3, characterized in that the visual image (4) and the 3D image (5) are each taken from a fixed, in particular from a coupled, camera pose. Method according to one of claims 1 to 4, characterized in that the selection of at least two feature points (12, 13) in the feature detection step by a computer-aided automated feature detection is made and / or made by a manual feature selection and / or that in a plausibility check the fit of the geometric primitive (7) is computer-assisted tested and / or optimized, in particular such that outliers, which are caused in particular by measurement errors, within a subset (8) of 3D points (6): when fitting the geometric primitive (7) be exempted. Method according to one of claims 1 to 5, characterized in that in the fitting step, a RANSAC method and / or a region-growing method is applied and / or that the object (2) has a flat, in particular rectangular, surface for the one geometric measured variable (3), in particular a spatial distance and / or an area, is determined. Method according to one of claims 1 to 6, characterized in that for the calculation of the 3D image (5) a run-time measurement and / or a structure-from-motion method is used and / or that in a distortion correction step, a distortion correction and / or a correction of a local aberration of the visual image (4) or the visual images (4) and / or the 3D image (5) is made computer-assisted. Image recording device (1) for determining a geometric measured variable (3) of an object (2), comprising: a visual camera (16) for recording at least one visual image (4) and a 3D camera (15) for recording a 3D image ( 5) or a visual camera (16) for recording a sequence of several visual images (4) and an SD imaging unit for calculating a 3D image (5) from the sequence of several visual images (4), a point cloud calculation unit for calculating a subset ( 8) of 3D points (6) of the 3D image (5), a fitting unit for fitting a geometric primitive (7) into the subset (8) of 3D points (6), a feature detection unit for manual and / or automatic Selecting at least two feature points (9, 10) in the visual image (4), a projection unit for projecting the at least two feature points (9, 16) onto the geometric primitive (7) as at least two measurement points (12, 13) Berechnungsein unit for calculating the geometrical measured quantity (3) for the at least two measuring points (12, 13). Image recording device (1) according to claim 8, characterized in that the point cloud calculation unit is adapted to determine a spatial direction of a 3D point (6), in particular 3D points (6) according to their spatial directions to subsets (8) of 3D points (6) and / or that the image acquisition device (1) has a plausibility check device for checking and / or optimizing the geometric primitive (7), in particular where it is adapted to optimize the geometric primitive (7) until a minimized There is a discrepancy between the 3D points (6) and the actual points of the geometric primitive. 0. Image recording device (1) according to claim 8 or 9, characterized in that the visual camera (16) for receiving at least one visual image (4) and the SD camera (15) are coupled together, in particular such that they have a Connecting element (18), preferably in a defined or adjustable distance, are interconnected and / or that the image pickup device (1) has a grouping unit, for performing a grouping step, wherein for each 3D point (6) a spatial direction is determined or determined and the 3D points can be allocated in a computer-assisted manner according to their spatial directions of a subset (8), in particular in such a way that for each 3D point (6) a local plane and therefrom a normal vector is calculated or can be calculated.
1. Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis1. image pickup device (1) according to one of claims 8 to
10, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen. 10, characterized in that the image pickup device (1) is adapted to carry out the method according to one of claims 1 to 7.
2. Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis2. Image pickup device (1) according to one of claims 8 to
11, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) aufweist, insbesondere wobei die jeweilige Korrektur vor Erstellung eines 3D-Bildes (5) bei allen visuellen Bildern (4) aus einer oder der Folge von mehreren visuellen Bildern (4) und/oder vor Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) erfolgt. 11, characterized in that the image recording device (1) comprises a correction unit for performing, in particular for automated and / or computer-aided execution, a distortion correction and / or a correction of a local aberration of the visual image (4) or the visual images (4) and / or the 3D image (5) in particular wherein the respective correction before creation of a 3D image (5) for all visual images (4) from one or the sequence of several visual images (4) and / or before projection of the at least two feature points (9, 16) the geometric primitive (7) takes place as at least two measuring points (12, 13).
EP17705553.0A 2016-02-24 2017-02-13 Method and image-processing device for determining a geometric measurement quantity of an object Withdrawn EP3420531A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016002186.1A DE102016002186A1 (en) 2016-02-24 2016-02-24 Method and image processing device for determining a geometric measured variable of an object
PCT/EP2017/000197 WO2017144162A1 (en) 2016-02-24 2017-02-13 Method and image-processing device for determining a geometric measurement quantity of an object

Publications (1)

Publication Number Publication Date
EP3420531A1 true EP3420531A1 (en) 2019-01-02

Family

ID=58054087

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17705553.0A Withdrawn EP3420531A1 (en) 2016-02-24 2017-02-13 Method and image-processing device for determining a geometric measurement quantity of an object

Country Status (4)

Country Link
US (1) US20190066321A1 (en)
EP (1) EP3420531A1 (en)
DE (1) DE102016002186A1 (en)
WO (1) WO2017144162A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017107341B4 (en) 2017-04-05 2018-10-31 Testo SE & Co. KGaA Method and device for determining a geometric measurement of an object
DE102017107335A1 (en) 2017-04-05 2018-10-11 Testo SE & Co. KGaA Method of identifying corresponding image areas in a sequence of images
US10540823B2 (en) * 2018-02-20 2020-01-21 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and apparatus for determining a planar surface
TWI791910B (en) * 2019-10-16 2023-02-11 由田新技股份有限公司 An inspection information presentation method, inespection method, and inspection apparatus for a hole-like structure
CN113866171B (en) * 2021-12-02 2022-03-18 武汉飞恩微电子有限公司 Circuit board dispensing detection method and device and computer readable storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
DE10242852A1 (en) * 2002-09-14 2004-03-25 Technische Universität Ilmenau Abteilung Forschungsförderung und Technologietransfer Surface geometry measurement method in which interference in the coordinate points related to form element calculation is minimized by filtering of the points using both balancing and recognition methods
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US9189888B1 (en) * 2013-01-14 2015-11-17 Bentley Systems, Incorporated Point cloud modeling based on user-provided seed
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
JP2015056057A (en) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 Method of estimating posture and robot
US9292913B2 (en) * 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images

Also Published As

Publication number Publication date
US20190066321A1 (en) 2019-02-28
DE102016002186A1 (en) 2017-08-24
WO2017144162A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
EP3420531A1 (en) Method and image-processing device for determining a geometric measurement quantity of an object
DE102006055758B4 (en) Method for calibrating cameras and projectors
WO2005075936A1 (en) Method for determining the position of an object in a space
DE102008015499A1 (en) Method and device for determining the 3D coordinates of an object
EP1910999B1 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
DE69829091T2 (en) measuring device
DE102011003653A1 (en) A method for obtaining a 3D image data set to a picture object
DE202019105838U1 (en) Arrangement with a coordinate measuring machine or microscope
DE10328523B4 (en) Method and measuring device for non-contact measurement of a contour of a surface
EP2494522B1 (en) Method for determining a set of optical imaging functions for three-dimensional flow measurement
DE102006022103B4 (en) Method for measuring a solid
DE102019123458B4 (en) Method for measuring a three-dimensional object, in particular a body part
EP3420533B1 (en) Method for calibrating an optical measurement set-up
WO2009018894A1 (en) Method and device for determining geometric data of a measured object
EP3174010A2 (en) Method for creating a 3d representation and corresponding image recording apparatus
EP3309507B1 (en) Method for detecting and optimization of three-dimensional surface geometries
EP0803079A1 (en) Camera with object lens and image carrier adjusting device and focussing process
DE102005043070B4 (en) Method for high-precision three-dimensional measurement and / or reconstruction of objects with the aid of digital image recordings, for example for image evaluation of traffic routes
DE10042387A1 (en) Method for transforming 3-D object points to picture elements (pixels) for linear-fan beam sensor images, includes calculating difference between starting coordinates and preceding coordinates
EP3776454A1 (en) Correction method, and device for correcting image data
EP3638095A1 (en) Method for determining the pupil diameter of an eye with high accuracy, and corresponding apparatus
WO2020057849A1 (en) Computer-implemented method for compressing measurement data from a measurement of a measurement volume
DE102014219418A1 (en) Method for stereorectification of stereo camera images
EP3875892B1 (en) Optical measuring apparatus, method for generating a measuring program for optical measurement of an object and inspection method for optical measurement of an object
EP3798570B1 (en) Optical measuring system and method for calibrating an optical measuring system, and calibration object for an optical measuring system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180924

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20190325