DE10113219A1 - Process for fast segmentation of object surfaces from depth data - Google Patents
Process for fast segmentation of object surfaces from depth dataInfo
- Publication number
- DE10113219A1 DE10113219A1 DE10113219A DE10113219A DE10113219A1 DE 10113219 A1 DE10113219 A1 DE 10113219A1 DE 10113219 A DE10113219 A DE 10113219A DE 10113219 A DE10113219 A DE 10113219A DE 10113219 A1 DE10113219 A1 DE 10113219A1
- Authority
- DE
- Germany
- Prior art keywords
- dimensional
- line
- dimensional intersection
- curve
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
Die Erfindung betrifft ein Verfahren zur automatischen, schnellen Segmentierung zweidimensionaler Objektoberflächen aus den in Form eines matrizenförmigen Datenfeldes vorliegenden dreidimensionalen Tiefendaten von Objekten, gekennzeichnet durch Erfassen des dreidimensionalen Datenfeldes durch zeilenweises Abtasten der Objekte mit einem Sensor in unterschiedlichen Messpunkteflächen und Segmentieren der zweidimensionalen Objektflächen durch Bestimmen der dreidimensionalen Schnittmenge der Messpunkteflächen mit Modellobjektflächen, Bestimmen einer Menge von die Schnittmenge approximierenden eindimensionalen Schnittkurven, Initialisieren einer Objektfläche für jede Schnittkurve der ersten Messpunktezeile, Bestimmen eines Konsistenzmaßes für jede aller folgenden Messpunktezeilen mit den bereits initialisierten Objektflächen und Verbinden der Schnittkurve mit einer Objektfläche, falls diese zu der Objektfläche konsistent ist bzw. Initialisieren einer weiteren Objektfläche, falls keine Konsistenz vorliegt, bzw. Verbinden mehrerer Objektflächen zu einer einzigen Objektfläche, falls die eindimensionale Schnittkurve mit mehreren Objektflächen konsistent ist und Verbinden der eindimensionalen Schnittkurve mit der verbundenen Objektfläche.The invention relates to a method for the automatic, quick segmentation of two-dimensional object surfaces from the three-dimensional depth data of objects present in the form of a matrix-shaped data field, characterized by detecting the three-dimensional data field by scanning the objects line by line with a sensor in different measuring point surfaces and segmenting the two-dimensional object surfaces by determining the three-dimensional intersection of the measurement point surfaces with model object surfaces, determination of a set of one-dimensional intersection curves approximating the intersection, initialization of an object surface for each intersection curve of the first measurement point line, determination of a consistency measure for each of the following measurement point lines with the already initialized object surfaces and connection of the intersection curve to an object surface, if this is consistent with the object area or initializing a further object area, if s there is no consistency, or connecting several object surfaces to a single object surface if the one-dimensional intersection curve is consistent with several object surfaces and connecting the one-dimensional intersection curve to the connected object surface.
Description
Die vorliegende Erfindung liegt auf dem Gebiet der automati schen Analyse von Bildern. Insbesondere betrifft sie ein Ver fahren zur automatischen, schnellen Segmentierung zweidimen sionaler Objektoberflächen aus den in Form eines matrizenför migen Datenfeldes vorliegenden dreidimensionalen Tiefendaten von Objekten. Anhand der so bestimmten Objektoberflächen soll insbesondere die räumliche Form von Objekten erkannt werden.The present invention is in the field of automati analysis of images. In particular, it relates to a ver drive for automatic, fast segmentation in two dimensions sional object surfaces from the form of a matrix present three-dimensional depth data of objects. Based on the object surfaces so determined in particular the spatial shape of objects can be recognized.
Aufgabe der automatischen Analyse von Bildern ist es, aus den erfassten Bilddaten eine Beschreibung der abgebildeten Welt abzuleiten. So kann eine dreidimensionale Szene durch die in ihr enthaltenen Objekte beschrieben werden. Für ein weiterge hendes "Bildverständnis" muss den Objekten darüber hinaus ei ne Bedeutung aus einem zugrundeliegenden Problemkreis zuge ordnet wird. Aus einer auf diese Weise gewonnenen Szenebe schreibung lassen sich dann weitere nützliche Informationen ableiten. Beispielsweise können nach einer Objekterkennung günstige Greifpositionen eines Roboterarms auf Objekten, so wie kollisionsfreie Pfade für den Greifer des Roboterarms er mittelt werden.The task of the automatic analysis of images is from the captured image data a description of the depicted world derive. So a three-dimensional scene can be seen through the objects it contains are described. For a further The "picture understanding" must also give the objects ne meaning from an underlying problem area is arranged. From a scene obtained in this way then further useful information can be written derived. For example, after object detection favorable gripping positions of a robot arm on objects, so like collision-free paths for the gripper of the robot arm be averaged.
Automatische Systeme zur Analyse der Bilddaten dreidimensio naler Szenen sind bekannt. Bei diesen werden die Bilddaten nach deren Erfassung mit einem Sensor meist zunächst einer Vorverarbeitung in Form einer Glättung oder Filterung zuge führt um Störungen im Messprozess und der Bilddigitalisierung zu unterdrücken. Für eine Beschreibung der dreidimensionalen Szene durch die in ihr enthaltenen Objekte werden diese in einer Hierarchie verschiedener Abstraktionsstufen erfasst. Auf der untersten Abstraktionsstufe sind die Objekte durch Merkmale wie Kanten und Flächen charakterisiert und werden über eine entsprechende Segmentierung der Bilddaten extrahiert. Ausgehend von dieser merkmalsbasierten Szenebeschrei bung werden den Objekten bzw. deren Merkmalen weitere Attri bute zugewiesen, wodurch sich eine inhaltliche Szenenbe schreibung mit einer Interpretation der Objekte einer höheren Abstraktionsstufe ergibt.Automatic systems for analyzing three-dimensional image data naler scenes are known. With these the image data after detection with a sensor, usually one at first Preprocessing in the form of smoothing or filtering leads to disturbances in the measuring process and image digitization to suppress. For a description of the three-dimensional Scene through the objects it contains will turn them into a hierarchy of different levels of abstraction. At the lowest level of abstraction, the objects are through Features such as edges and surfaces are characterized and are extracted via a corresponding segmentation of the image data. Based on this feature-based scene description The objects and their characteristics become additional attractions Bute assigned, which results in a contextual scene description writing with an interpretation of the objects of a higher one Abstraction level results.
Für eine Analyse der Bilddaten einer dreidimensionalen Szene werden im Gegensatz zu den traditionell verwendeten Grauwert bildern, bei denen jeder Bildpunkt die von der Kamera aufge nommene Lichtintensität wiedergibt, die in einem Tiefenbild enthaltenen Tiefendaten verwendet. Diese repräsentieren den Abstand einzelner Punkte auf der Oberfläche der abgebildeten Objekte vom Sensor. Der größte Vorteil von Tiefenbildern ge genüber Grauwertbildern liegt mithin in der expliziten Dar stellung der Gestalt dreidimensionaler Objekte. Hierdurch kann die Analyse von Bildern wesentlich vereinfacht werden. Überdies werden neue Anwendungen ermöglicht, die anhand von Grauwertbildern praktisch nicht möglich wären, beispielsweise das Sortieren unbekannter Objekte.For an analysis of the image data of a three-dimensional scene are in contrast to the traditionally used gray value images in which each pixel is taken up by the camera taken light intensity reflects that in a depth image contained depth data used. These represent the Distance of individual points on the surface of the depicted Objects from the sensor. The biggest advantage of depth images compared to gray scale images is therefore in the explicit Dar positioning of the shape of three-dimensional objects. hereby the analysis of images can be significantly simplified. In addition, new applications are made possible which are based on Grayscale images would be practically impossible, for example sorting unknown objects.
Tiefendaten können durch passive und aktive Verfahren gewon nen werden. Bei einem passiven Verfahren werden beispielswei se mehrere Stereobilder verwendet, wobei sich die Tiefe nach dem Triangulationsprinzip sehr einfach bestimmen lässt, vor ausgesetzt, dass korrespondierende Punkte gefunden werden können. Bei den aktiven Systemen wird anstelle einer Stereo kamera eine aktive Energiequelle, beispielsweise in Form von Radiowellen, Ultraschall oder Laserlicht eingesetzt, um künstlich Merkmale auf der zu vermessenden Oberfläche zu er zeugen. Zumeist wird dann über eine Laufzeitmessung des aus gesendeten und anschließend von der Objektoberfläche reflek tierten Signals die Tiefeninformation gewonnen.Depth data can be obtained through passive and active procedures be. In a passive method, for example se uses multiple stereo images, with depth depending the triangulation principle can be determined very easily suspended that corresponding points are found can. In the active systems instead of a stereo camera an active energy source, for example in the form of Radio waves, ultrasound or laser light are used to Artificial characteristics on the surface to be measured witness. Most of the time is measured by a runtime measurement sent and then reflected from the object surface dated signal the depth information is obtained.
Kernproblem bei der Analyse der Bilddaten ist die Segmentie rung von zweidimensionalen Objektflächen aus den Tiefendaten. Viele Segmentierungsverfahren beruhen auf einem schrittwei sen Ausdehnen der Objektflächen ausgehend von einer kleinen Kernregion, wobei lokale Eigenschaften der Objektflächen wie Stetigkeit und Krümmung, bzw. allgemeiner, eine Übereinstim mung mit den die zugrundeliegende Modellobjektfläche begrün denden Merkmalen, als Kriterien benutzt werden, ob ein weite rer Messpunkt der Fläche zugeordnet werden soll. Dies wird solange fortgesetzt, bis keine weitere Ausdehnung der Kernre gion mehr möglich ist. Der gleiche Prozess, beginnend mit der Bildung der Kernregion bis hin zu anschließenden Ausdehnung dieser Kernregion, wird wiederholt, bis sich keine weitere Kernregion mehr finden lässt. Dabei werden regelmäßig die Randpunkte der bislang ermittelten Fläche einzeln betrachtet. Einen kritischen Faktor bei der Regionenexpansion stellt die Wahl der Kernregion dar. Diese soll nicht nur das Homogeni tätskriterium erfüllen, sondern auch möglichst günstig plat ziert sein, so dass sie mitten in einer Fläche liegt und kei ne Flächenkanten überlappt. Die regionenbasierte Segmentie rung ist beispielsweise in der Veröffentlichung "Dreidimensi onales Computersehen", Xioayi Jiang, Horst Bunke, Springer 1997, S. 174 ff. beschrieben. Nachteilig bei diesen Verfahren ist die vergleichsweise langsame Segmentierung der Bilddaten aufgrund der zur Verarbeitung anfallenden großen Datenmengen und die verfahrenstechnisch langwierige Expansion von Kernre gionen zur Extraktion der zweidimensionalen Objektflächen.The core problem in the analysis of the image data is segmentation tion of two-dimensional object areas from the depth data. Many segmentation processes are based on a step-by-step process expansion of the object areas starting from a small one Core region, with local properties of the object areas such as Continuity and curvature, or more generally, a match green with the underlying model object area characteristics that are used as criteria, whether a wide The measuring point should be assigned to the surface. this will continued until no further expansion of the core gion is more possible. The same process, starting with the Formation of the core region up to subsequent expansion This core region is repeated until there is no more Core region lets you find more. The are regularly Edge points of the previously determined area are considered individually. A critical factor in regional expansion is the Choice of the core region. This is not just the homogeneity fulfill the criterion, but also as cheap as possible be decorated so that it lies in the middle of a surface and does not ne surface edges overlap. The region-based segmentie tion is, for example, in the publication "Dreidimensi computer vision ", Xioayi Jiang, Horst Bunke, Springer 1997, p. 174 ff. A disadvantage of this method is the comparatively slow segmentation of the image data due to the large amounts of data required for processing and Kernre's lengthy process expansion gions for the extraction of the two-dimensional object surfaces.
Einen Fortschritt gegenüber den regionenbasierten Segmentie rungsverfahren stellt das von Jiang und Bunke entwickelte Verfahren dar, bei dem die Messpunkte im Unterschied zu den herkömmlichen Verfahren zu Strukturen auf einer höheren Abs traktionsebene gruppiert werden, wobei dann nur noch von die sen Strukturen Gebrauch gemacht wird. So werden die Messpunk te zunächst in einer Richtung zu eindimensionalen Kurvenstü cken (Geraden) verbunden, aus denen dann planare Flächen ext rahiert werden sollen. Die eigentliche Segmentierung bedient sich dann jedoch wieder zuvor dargestellten, herkömmlichen Regionenexpansion, wobei eine Aggregation von benachbarten, auf benachbarten Abtastzeilen befindlichen Kurvenstücken gleicher Steigung, die länger als eine Mindestlänge sind, als Kernregion gewählt werden. Bei der schrittweisen Ausdehnung der Kernregion wird die Übereinstimmung mit der planaren Mo dellobjektfläche als Kriterium verwendet, ob ein weiteres Ge radenstück der Kernregion hinzugefügt wird. Dank der Verwen dung von Geradenstücken anstelle von einzelnen Messpunkten erlaubt dieses Verfahren eine Steigerung der Geschwindigkeit der Segmentierung gegenüber den zuvor beschriebenen Verfah ren, weil die Datenmenge für den Expansionsprozess stark ver mindert wird. Die Geschwindigkeit des Segmentierungsverfah rens lässt jedoch weiterhin zu wünschen übrig, da auf das verfahrenstechnisch langwierige Expandieren von Kernregionen zur Extraktion der zweidimensionalen Objektflächen zurückge griffen wird. Dieses Verfahren ist in der Veröffentlichung "Dreidimensionales Computersehen", Xioayi Jiang, Horst Bunke, Springer 1997, S. 188 ff. beschrieben.An advance over the region-based segment the process developed by Jiang and Bunke Process in which the measuring points differ from the conventional procedures for structures on a higher paragraph traction level are grouped, then only from the structures are used. So the measuring point first in one direction to one-dimensional curve corners (straight lines), from which planar surfaces ext should be shaved. Serves the actual segmentation then, however, previously shown, conventional Region expansion, where an aggregation of neighboring, Pieces of curve located on adjacent scan lines same slope that is longer than a minimum length than Core region. With gradual expansion the core region is the agreement with the planar Mo dellobject area used as a criterion whether another Ge radenstück is added to the core region. Thanks to the Verwen of straight line segments instead of individual measuring points this method allows an increase in speed the segmentation compared to the previously described procedure because the amount of data for the expansion process is reduced. The speed of the segmentation process However, rens still leaves a lot to be desired, because of the Process-technically lengthy expansion of core regions returned for the extraction of the two-dimensional object surfaces is gripped. This procedure is in the publication "Three-dimensional computer vision", Xioayi Jiang, Horst Bunke, Springer 1997, pp. 188 ff.
Aus dem Gebiet der zweidimensionalen Bildverarbeitung sind vergleichsweise schnelle Verfahren zur Segmentierung von Bilddaten bekannt. Als Prototyp solcher Segmentierungsproble me kann die Ermittlung von zusammenhängenden Gebieten in ei nem Binärbild angesehen werden. Beispielsweise werden bei ei nem besonders schnellen Verfahren zunächst zeilenweise zusam menhängende Intervalle gebildet und durch ihre Anfangs- und Endpunkte gekennzeichnet. Dann werden die Messzeilen einzeln durchlaufen. Dabei wird in der ersten Messzeile für jedes In tervall eine Zusammenhangskomponente initialisiert. In jeder folgenden neuen Messzeile wird jedes neue Intervall zu derje nigen Zusammenhangskomponente hinzugefügt, die ein mit dem neuen Intervall der neuen Messzeile überlappendes Intervall hat. Wird ein Intervall zu mehreren bis dahin verschiedenen Zusammenhangskomponenten hinzugefügt, so wird aus allen die sen Zusammenhangskomponenten eine einzige Zusammenhangskompo nente gebildet. Enthält eine Messzeile ein Intervall, das keinen Überlapp mit einem Intervall einer bislang initiali sierten Zusammenhangskomponente hat, dann wird für dieses In tervall eine neue Zusammenhangskomponente initialisiert. Ein solches als "Sequential Labeling Algorithmus" bezeichnetes Verfahren ist in der Veröffentlichung "Robot Vision", Bert hold K. P. Horn, MIT Press, 1986, S. 69 ff. beschrieben.Are from the field of two-dimensional image processing comparatively fast method for segmenting Image data known. As a prototype of such segmentation problems me can identify related areas in egg a binary image. For example, at ei nem particularly fast process first line by line dependent intervals formed and by their initial and Endpoints marked. Then the measuring lines are individually run through. The first measurement line for each In tervall initializes a related component. In every following new measurement line, each new interval becomes the respective one some related component added, one with the new interval of the new measuring line overlapping interval Has. If an interval becomes several until then different Connected components are added, so all becomes the connected components a single connected component nente formed. If a measurement line contains an interval that no overlap with an interval of a previously initiali has related component, then for this In tervall initialized a new related component. On such as "sequential labeling algorithm" Procedure is in the publication "Robot Vision", Bert hold K. P. Horn, MIT Press, 1986, pp. 69 ff.
Aufgabe der vorliegenden Erfindung ist es, die Nachteile der im Stand der Technik bekannten Verfahren zur Segmentierung zweidimensionaler Objektflächen aus Tiefendaten zu überwin den. Insbesondere soll ein Segmentierungsverfahren angegeben werden, das wesentlich schneller als die bisher bekannten derartigen Verfahren arbeitet, so dass die Prozessökonomie bei der Bildbeschreibung sowie den hierauf basierenden weite ren Verfahrensschritten deutlich verbessert werden kann.The object of the present invention is to overcome the disadvantages of Methods for segmentation known in the prior art to overcome two-dimensional object areas from depth data the. In particular, a segmentation method is to be specified be that much faster than the previously known such process works so that process economics in the description of the picture and the width based on it Ren process steps can be significantly improved.
Diese Aufgabe wird durch die Merkmale des unabhängigen Pa tentanspruchs gelöst. Vorteilhafte Ausgestaltungen der Erfin dung sind durch die Unteransprüche angegeben.This task is characterized by the characteristics of the independent Pa claim resolved. Advantageous embodiments of the Erfin tion are specified by the subclaims.
Erfindungsgemäß wird ein Verfahren zur automatischen, schnel len Segmentierung zweidimensionaler Objektoberflächen aus den in Form eines matrizenförmigen Datenfeldes vorliegenden drei dimensionalen Tiefendaten von Objekten, insbesondere zur Er kennung der räumlichen Form der Objekte angegeben, das durch die im folgenden beschriebenen Verfahrensschritte gekenn zeichnet ist.According to the invention, a method for automatic, quick len segmentation of two-dimensional object surfaces from the three in the form of a matrix-shaped data field dimensional depth data of objects, especially Er identification of the spatial shape of the objects indicated by the process steps described in the following is drawing.
Für eine schnelle Segmentierung zweidimensionaler Flächen aus dreidimensionalen Tiefendaten werden zunächst in eine Rich tung eindimensionale Kurvenstücke ermittelt und diese dann in einem zweiten Schritt mittels eines wie aus den Verarbeitung der zweidimensionalen Bilddaten bekannten "Sequential Labe ling Algorithmus" zu zweidimensionalen Flächen verbunden.For a quick segmentation of two-dimensional surfaces three-dimensional depth data are first in one rich one-dimensional curve pieces and then these in a second step using a like from processing the two-dimensional image data known "Sequential Labe Ling algorithm "connected to two-dimensional surfaces.
Zunächst soll die Ermittlung der eindimensionalen Kurvenstü
cke beschrieben werden:
Der gesuchte Flächentyp der zweidimensionalen Objektfläche
sei durch die Gleichung f(p; a) = 0 beschrieben, wobei p Punk
te im dreidimensionalen Raum und a Parameter der Fläche sind.
Weiter seien durch gj(p) = 0 Flächen beschrieben, die aus dem
Messprinzip heraus für die Lage von Messpunkten mjk bekannt
sind. Falls beispielsweise mit einem zweidimensionalen Laser
scanner gemessen und der Scanner vergleichsweise langsam be
wegt wird, sind diese Flächen Ebenen. Daraus folgt ein Modell
für den Typ des eindimensionalen Schnittes cj(p; b) der j-ten
Messebene gj(p) = 0 mit der Objektfläche f(p; a) = 0. Dabei
entsprechen die Parameter b des eindimensionalen Schnittes
den Parametern a der Objektfläche.First, the determination of the one-dimensional curve pieces should be described:
The area type of the two-dimensional object area sought is described by the equation f (p; a) = 0, where p points in three-dimensional space and a are parameters of the area. Furthermore, g j (p) = 0 describes surfaces which are known from the measuring principle for the location of measuring points m jk . If, for example, measurement is carried out with a two-dimensional laser scanner and the scanner is moved comparatively slowly, these surfaces are planes. From this follows a model for the type of the one-dimensional section c j (p; b) of the j-th measuring plane g j (p) = 0 with the object area f (p; a) = 0. The parameters b of the one-dimensional section correspond to Parameters a of the object area.
Zur Zerlegung der Messpunktemenge, entsprechend eine Mess punktezeile, und zur Bestimmung hinreichend guter Approxima tionen der Messpunktemenge mit eindimensionalen Kurven cj(p; b) sind Verfahren bekannt. So ist beispielsweise in der Veröffentlichung "Pattern Classification and Scene Analysis", R. O. Duda, P. E. Hart, John Wiley & Sons, 1972, ein Verfahren zur iterativen Endpunkteanpassung beschrieben, bei dem die Messpunkte durch eine oder mehrere aneinanderhängende Gera denstücke approximiert werden. Eine genauere Beschreibung dieses Verfahren erfolgt weiter unten.Methods are known for decomposing the measurement point set, corresponding to a measurement point line, and for determining sufficiently good approximations of the measurement point set with one-dimensional curves c j (p; b). For example, the publication "Pattern Classification and Scene Analysis", RO Duda, PE Hart, John Wiley & Sons, 1972, describes a method for iterative end point adaptation in which the measuring points are approximated by one or more contiguous pieces of line. This method is described in more detail below.
Jedes solches Verfahren kann verwendet werden, um aus den Messpunkten einer Messpunktezeile eine Menge von eindimensio nalen Kurven cji(p; bji)zu ermitteln, die entsprechend der Lage der jeweils beteiligten Messpunkte der Messpunktezeile linear geordnet sind.Any such method can be used to determine a set of one-dimensional curves c ji (p; b ji ) from the measuring points of a measuring point line, which are arranged linearly according to the position of the respective measuring points involved in the measuring point line.
Anstelle einer einzigen Zerlegung der Messpunktezeile kann auch eine Menge von mehreren konkurrierenden alternativen Zerlegungen verwendet werden. Diese Zerlegungen können für alle Messpunktezeilen unabhängig voneinander gemacht werden oder auf den Ergebnissen einer vorangegangenen Zerlegung be ruhen. Ebenso können die Approximationen mit geeigneten ein dimensionalen Kurven für alle Messpunktezeilen unabhängig voneinander gemacht werden oder auf den Ergebnissen einer vo rangegangenen Approximation beruhen. Instead of a single decomposition of the measurement point line also a lot of several competing alternatives Disassemblies are used. These decompositions can be used for all measuring point lines are made independently or be based on the results of a previous decomposition rest. Likewise, the approximations can be made using a suitable one dimensional curves for all measuring point lines independently be made of each other or on the results of a vo based approximation.
Im folgenden wird der nach Bestimmung der eindimensionalen
Kurvenstücke verwendete "Sequential Labeling Algorithmus" be
schrieben:
Zunächst wird für jede eindimensionale Kurve c1i(p; b1i) = 0
der ersten Messpunktezeile eine zweidimensionale Objektfläche
fi(p; ai) initialisiert. Dabei sind die Parameter a noch nicht
vollständig festgelegt. Der Reifegrad der zweidimensionalen
Objektfläche, d. h. der Grad der Bestimmung der Parameter a,
wird festgehalten. Der Reifegrad hängt von der Mächtigkeit
der Parameter a und der bisher extrahierten Information ab.
Die Parameter a können bereits mit der zweiten Zeile voll
ständig bestimmt sein, sie können aber auch erst mit der
dritten, vierten usw. Zeile bestimmt sein.The "Sequential Labeling Algorithm" used after determining the one-dimensional curve sections is described below:
First, a two-dimensional object surface f i (p; a i ) is initialized for each one-dimensional curve c 1i (p; b 1i ) = 0 of the first measurement point line. The parameters a have not yet been completely defined. The degree of maturity of the two-dimensional object surface, ie the degree of determination of the parameters a, is recorded. The degree of maturity depends on the thickness of the parameters a and the information extracted so far. The parameters a can already be determined completely continuously with the second line, but they can also only be determined with the third, fourth etc. line.
Nach dieser Initialisierung, die auch so implementiert sein
kann, dass eine nullte Messpunktezeile eingeführt wird, bei
der keine eindimensionalen Kurven extrahiert werden, werden
alle folgenden Messpunktezeilen j in gleicher Weise bearbei
tet:
Für jede Kurve cji(p; bji) = 0 wird das Maß der Konsistenz mit
allen bisher initialisierten und aufgebauten zweidimensiona
len Objektflächen fi(p; ai) = 0 ermittelt. Dieses Konsistenz
maß ergibt sich aus dem Modell für die zweidimensionale Ob
jektfläche und dem Modell der Messebenen, insbesondere auch
aus dem Zusammenhang zwischen benachbarten Messebenen.After this initialization, which can also be implemented in such a way that a zeroth measuring point line is introduced, in which no one-dimensional curves are extracted, all following measuring point lines j are processed in the same way:
For each curve c ji (p; b ji ) = 0, the measure of consistency with all previously initialized and constructed two-dimensional object areas f i (p; a i ) = 0 is determined. This consistency measure results from the model for the two-dimensional object surface and the model of the measurement planes, in particular also from the relationship between neighboring measurement planes.
Ist eine Kurve cji(p; bji) = 0 mit einer Oberfläche fk(p; ak) = 0 konsistent, dann wird die Oberfläche mit dieser Kurve fortge schrieben. Dabei werden die Parameter ak durch die Parameter bei wenn möglich weiter festgelegt, und der Gültigkeitsbe reich der Oberfläche fk(p; ak) = 0 wird erweitert.If a curve c ji (p; b ji ) = 0 is consistent with a surface f k (p; a k ) = 0, then the surface is updated with this curve. The parameters a k are further determined by the parameters at if possible, and the area of validity of the surface f k (p; a k ) = 0 is expanded.
Wenn eine eindimensionale Kurve cji(p; bji) = 0 mit zwei bisher voneinander getrennt geführten vollständig bestimmten zweidi mensionalen Objektflächen fk(p; ak) = 0 und fh(p; ah) = 0 konsi stent ist, bedeutet dies, dass die Parameter ak und ah gleich sind und es sich eigentlich um ein und dieselbe Oberfläche handelt. Dann wird die Vereinigung der Gültigkeitsbereiche beider Objektflächen zu einer neuen einheitlichen Darstellung der Objektfläche gebildet. Das kann auch über einen Verweis von einer dieser Objektflächen zur anderen implementiert sein.If a one-dimensional curve c ji (p; b ji ) = 0 is consistent with two previously determined two-dimensional object surfaces f k (p; a k ) = 0 and f h (p; a h ) = 0, this means that the parameters a k and a h are the same and are actually one and the same surface. Then the areas of validity of both object areas are combined to form a new, uniform representation of the object area. This can also be implemented via a reference from one of these object areas to the other.
Wenn eine Kurve cji(p; bji) = 0 zu keiner bisher existierenden Objektfläche konsistent ist, wird eine neue Objektfläche ini tialisiert.If a curve c ji (p; b ji ) = 0 is not consistent with any existing object area, a new object area is initialized.
Ein Konsistenzmaß kann auch bestimmt werden, ohne die Parame ter a explizit zu berechnen. Dabei werden lokale Eigenschaf ten der zweidimensionalen Objektflächen zugrunde gelegt und neben einer Kurve aus der aktuellen Messwertzeile j auch die in der zu ihr konsistenten Objektfläche enthaltenen Kurven aus vorhergehenden Messwertezeilen j-1, j-2, usw. berücksich tigt.A consistency measure can also be determined without the parameter to calculate ter a explicitly. Thereby local properties of the two-dimensional object surfaces and in addition to a curve from the current measured value line j also the in the curves contained in the object area consistent with it from previous measured value lines j-1, j-2, etc. Untitled.
Nach Bearbeitung der letzten Messpunktezeile ist damit die Extraktion der Objektflächen grundsätzlich durchgeführt. Auf grund dieser Zerlegung der Messpunkte und dem zugrunde geleg ten Modell der Objektfläche können die Parameter a nochmals genauer ermittelt werden. Bei einer solchen Berechnung werden auch zu kleine oder anderweitig unwahrscheinliche Objektflä chen eliminiert.After editing the last line of measuring points, the Basically extraction of the object areas. on because of this decomposition of the measuring points and the basis th model of the object surface, parameters a can again can be determined more precisely. With such a calculation too small or otherwise improbable object area Chen eliminated.
Abschließend können solche Objektflächen zusammengefasst wer den, die gleiche Parameter haben. Zusätzlich kann dabei die Bedingung gestellt werden, dass diese Objektflächen räumlich zusammenhängend sind.Finally, such object areas can be summarized the one with the same parameters. In addition, the Condition that these object areas are spatial are contiguous.
Im folgenden wird anhand eines Ausführungsbeispiels für das erfindungsgemäße Verfahren die Erfindung noch näher darge stellt.In the following, an exemplary embodiment of the inventive method Darge the invention in more detail provides.
Die Messanordnung umfasst einen Laserscanner, der mittels ei nes Rotationsantriebes mit mäßiger Geschwindigkeit über die dreidimensionale Szene bewegt wird. Der Laserscanner bewegt einen Laserstrahl mit Hilfe eines um eine Achse rotierenden Spiegels mit sehr hoher Geschwindigkeit. In hinreichend guter Näherung liegen daher alle Messpunkte, die der Laserscanner während eines Scans aufnimmt, in einer Ebene. Die Messpunkte mjk des j-ten Scans werden als Messpunktezeile bezeichnet. Damit ergibt sich insgesamt eine matrixförmig indizierte Messpunktemenge.The measuring arrangement comprises a laser scanner which is moved over the three-dimensional scene at a moderate speed by means of a rotary drive. The laser scanner moves a laser beam at a very high speed with the help of a mirror rotating about an axis. All measuring points that the laser scanner records during a scan are therefore in a sufficiently good approximation on one plane. The measuring points m jk of the jth scan are referred to as the measuring point line. This results in a total of a measuring point index indicated in a matrix.
Gesucht seien planare, zweidimensionale Objektoberflächen, d. h. Ebenen. Der Schnitt zwischen der gesuchten Objektober fläche und der Messebene ist eine Gerade. Daher werden zu nächst aus jeder Messpunktezeile alle Teilintervalle extra hiert, die mit hinreichender Genauigkeit Geraden entsprechen. Dazu werden die Messpunkte einer Zeile als Punkte in der be kannten Messebene aufgefasst. Damit ist das Problem, aus diesen Messpunkten alle Geraden zu extrahieren, auf ein in der zweidimensionalen Bildverarbeitung vielfach behandeltes Problem zurückgeführt.We are looking for planar, two-dimensional object surfaces, d. H. Levels. The cut between the searched object top area and the measurement plane is a straight line. Therefore, too next, all sub-intervals separately from each row of measuring points that correspond to straight lines with sufficient accuracy. For this purpose, the measuring points of a line as points in the be known measurement level. So the problem is over to extract all the straight lines at these measuring points, onto an in two-dimensional image processing Problem attributed.
Zur Extraktion der Geraden wird das bereits zuvor genannte Verfahren der Iterativen Endpunkteanpassung verwendet. Grund idee dieses Verfahrens ist es, eine Gerade vom ersten bis zum letzten Punkt der Folge von Messpunkten zu ziehen. Ist der Abstand aller Messpunkte von dieser Geraden geringer als ein vorgegebener Schwellwert, ist damit die gesuchte Zerlegung gefunden. Ist ein Messwert um mehr als den vorgegebenen Schwellwert von der Geraden entfernt, wird die Messpunktemen ge bei dem Messpunkt aufgeteilt, der von der Geraden am wei testen entfernt ist. Dann wird das Verfahren für die neuen, kleineren Messpunktemengen wiederholt, solange bis die Schwellwertbedingung für alle Teilmengen erfüllt ist. Zu kur ze Geradenstücke werden gelöscht, oder gegebenenfalls mit be nachbarten Geradenstücken verschmolzen. For the extraction of the straight line, the one already mentioned is used Iterative endpoint fitting method used. reason The idea of this procedure is to create a straight line from the first to the first to draw the last point in the sequence of measuring points. Is the Distance of all measuring points from this straight line is less than one Predefined threshold value is the desired decomposition found. Is a measured value by more than the specified one Threshold value removed from the straight line, the measuring point is divided at the measuring point that is from the straight line on the white test is removed. Then the procedure for the new, smaller amounts of measuring points repeated until the Threshold condition for all subsets is met. Too short ze line segments are deleted, or if necessary with be neighboring line segments fused.
Nach Extraktion der Geraden, wird für jedes Geradenstück in der ersten Messzeile eine Objektebene initialisiert. Die Pa rameter dieser Ebene sind damit aber noch nicht festgelegt, da hierzu ein weiteres in der Ebene befindliches Geradenstück notwendig ist.After extraction of the straight line, in for each straight line segment initializes an object level in the first measurement line. The pa parameters of this level are not yet defined, because there is another straight line in the plane necessary is.
Dann werden die aus der zweiten Messpunktezeile herrührenden Geradenstücke durchlaufen. Für jedes dieser Geradenstücke wird die Konsistenz zu den bisher gebildeten Ebenen geprüft. Solange die Parameter der Ebene noch nicht vollständig fest gelegt sind, genügt es, wenn das Geradenstück parallel und überlappend zu dem Geradenstück in der vorigen Messpunktezei le ist. Wird das neue Geradenstück der Ebene hinzugefügt, dann sind damit die Parameter der Ebene vollständig festge legt.Then those coming from the second line of measurement points Go through straight lines. For each of these straight lines the consistency with the levels formed so far is checked. As long as the parameters of the level are not yet completely set , it is sufficient if the line segment is parallel and overlapping to the line segment in the previous measuring point line le is. If the new line segment is added to the level, then the parameters of the level are completely defined sets.
Diese Parameter werden aber nicht explizit berechnet, sondern es wird die Verbindungslinie zwischen der letzten und der neu hinzugefügten Gerade berechnet, die als Endpunkte die Mittel punkte der Überlappungsbereiche auf beiden Geraden hat. Diese Verbindungslinie wird verwendet, um die Konsistenz einer wei teren Geraden mit dieser Ebene zu prüfen. Falls eine weitere Gerade ebenfalls parallel zu und überlappend mit einer Gera den aus einer Ebenenhypothese ist, muss für die Konsistenz auch die Verbindungslinie dieser weiteren Geraden mit der aus der Ebenenhypothese parallel zu den bisher gebildeten Verbin dungslinien sein. Im allgemeinen genügt es, eine weitere Ver bindungslinie zu testen.However, these parameters are not calculated explicitly, but rather it becomes the connecting line between the last and the new added line calculates the end points as the mean points of the overlap areas on both straight lines. This Connection line is used to ensure the consistency of a white Check the straight line with this plane. If another Also parallel to and overlapping with a Gera which is from a plane hypothesis must for consistency also the line connecting these further straight lines with the the plane hypothesis parallel to the previously formed verb lines of extension. In general, it is sufficient to add another ver test the binding line.
Die gleichen Tests gelten für den Fall, dass eine Gerade zu zwei Geraden aus zwei verschiedenen Ebenenhypothesen aus der vorigen Messpunktezeile konsistent ist. Trifft dies zu, wer den beide Ebenenhypothesen zu einer Ebenenhypothese zusammen gefasst. Hierdurch werden Segmentierungsfehler vermieden, die bei regionenbasierten Segmentierungsverfahren entstehen kön nen, wenn beispielsweise nur der Fehler bei der Approximation der Messpunkte durch eine Flächenfunktion betrachtet wird, ohne einen weiteren Test auf Übereinstimmung, etwa die Über einstimmung der Normalenvektoren miteinzubeziehen. Ein sol cher Fehler bei der Regionenexpansion ist in der Veröffentli chung "Dreidimensionales Computersehen", Xioayi Jiang, Horst Bunke, Springer 1997, S. 174 ff. beschrieben.The same tests apply in the event that a straight line is too two straight lines from two different plane hypotheses from the previous line of measurement points is consistent. If so, who the two level hypotheses together to form a level hypothesis caught. This avoids segmentation errors that region-based segmentation processes if, for example, only the error in the approximation the measuring points are viewed by a surface function, without another match test, such as the About inclusion of the normal vectors. A sol Error in the region expansion is in the publi "Three-dimensional computer vision", Xioayi Jiang, Horst Bunke, Springer 1997, pp. 174 ff.
Wenn eine Messpunktezeile eine Gerade enthält, die zu keiner der bisherigen Ebenenhypothesen konsistent ist, wird eine neue Ebenenhypothese initialisiert. Diese entspricht in ihrem Reifegrad den Ebenenhypothesen der ersten Messpunktezeile, d. h. ihre Parameter sind noch nicht vollständig festgelegt. Entsprechend werden die gleichen Konsistenzprüfungen wie zwi schen der zweiten und der ersten Messpunktezeile verwendet.If a measuring point line contains a straight line that does not belong to any of the previous level hypotheses becomes one initialized new level hypothesis. This corresponds in their Maturity level of the level hypotheses of the first row of measuring points, d. H. their parameters are not yet fully defined. Accordingly, the same consistency checks as between between the second and the first line of measuring points.
Erfindungsgemäß wird das gezeigte Verfahren vorzugsweise zum Sortieren von Briefbehältern verwendet. Die Aufgabe beim Sor tieren von Briefbehältern besteht darin, einen Stapel von Briefbehältern auseinanderzunehmen. Im wesentlichen wird die ses Ziel auf zwei Schritten erreicht. Zuerst wird die dreidi mensionale Szene in einzelne Briefbehälter aufgeteilt, indem eine Objekterkennung durchgeführt wird. Anschließend werden für den bezüglich des Greifens am günstigsten liegenden Briefbehälter die Greifpositionen ermittelt und der Stapel von Briefbehältern sukzessive entstapelt.According to the invention, the method shown is preferably used for Sorting letter containers used. The task with the Sor animals from letter containers consists of a stack of Disassemble letter containers. In essence, the achieved its goal in two steps. First the dreidi Dimensional scene divided into individual letter boxes by object detection is carried out. Then be for the most convenient in terms of gripping Letter container determines the gripping positions and the stack successively unstacked from letter containers.
Claims (8)
- a) Bestimmen der eindimensionalen Schnittmenge (cj(p; b)) der zweidimensionalen Messpunkteflächen (gj(p) = 0) mit para metrisierten zweidimensionalen Modellobjektflächen (f(p; a) = 0) für jede Messpunktezeile j;
- b) Bestimmen einer Menge von die eindimensionale Schnittmenge (cj(p; b)) mit vorbestimmter Genauigkeit approximierenden eindimensionalen Schnittkurven. (cji(p; bji) = 0) für jede Messpunktezeile j;
- c) Initialisieren einer Objektfläche fi(p; ai) für jede eindi mensionale Schnittkurve (c1i(p; b1i) = 0) der ersten Mess punktezeile (j = 1);
- d) Bestimmen eines Konsistenzmaßes für jede eindimensionale Schnittkurve aller folgenden Messpunktezeilen mit den be reits initialisierten Objektflächen fi(p; ai), und
- e) Verbinden einer eindimensionalen Schnittkurve mit einer bereits initialisierten Objektfläche, falls diese zu der Objektfläche konsistent ist, oder
- f) Initialisieren einer weiteren Objektfläche für jede eindi mensionale Schnittkurve, falls keine Konsistenz zu einer bereits initialisierten Objektfläche vorliegt, oder
- g) Verbinden mehrerer bereits initialisierter Objektflächen zu einer einzigen Objektfläche, falls die eindimensionale Schnittkurve mit den mehreren bereits initialisierten Ob jektflächen konsistent ist und Verbinden der eindimensio nalen Schnittkurve mit der verbundenen Objektfläche;
- a) determining the one-dimensional intersection (c j (p; b)) of the two-dimensional measuring point surfaces (g j (p) = 0) with para-metrized two-dimensional model object surfaces (f (p; a) = 0) for each measuring point line j;
- b) determining a set of one-dimensional intersection curves approximating the one-dimensional intersection (c j (p; b)) with predetermined accuracy. (c ji (p; b ji ) = 0) for each row of measuring points j;
- c) initializing an object area f i (p; a i ) for each one-dimensional intersection curve (c 1i (p; b 1i ) = 0) of the first row of measuring points (j = 1);
- d) determining a consistency measure for each one-dimensional intersection curve of all subsequent measurement point lines with the already initialized object areas f i (p; a i ), and
- e) connecting a one-dimensional intersection curve to an already initialized object surface, if this is consistent with the object surface, or
- f) initializing a further object surface for each one-dimensional intersection curve if there is no consistency with an object surface that has already been initialized, or
- g) connecting several already initialized object surfaces to a single object surface if the one-dimensional intersection curve is consistent with the several already initialized object surfaces and connecting the one-dimensional intersection curve to the connected object surface;
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10113219A DE10113219A1 (en) | 2001-03-19 | 2001-03-19 | Process for fast segmentation of object surfaces from depth data |
PCT/DE2002/000857 WO2002075653A2 (en) | 2001-03-19 | 2002-03-11 | Method for rapid segmentation of object surfaces from depth data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10113219A DE10113219A1 (en) | 2001-03-19 | 2001-03-19 | Process for fast segmentation of object surfaces from depth data |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10113219A1 true DE10113219A1 (en) | 2002-10-17 |
Family
ID=7678038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10113219A Withdrawn DE10113219A1 (en) | 2001-03-19 | 2001-03-19 | Process for fast segmentation of object surfaces from depth data |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE10113219A1 (en) |
WO (1) | WO2002075653A2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006008275A1 (en) | 2006-02-22 | 2007-08-23 | Siemens Ag | Object detection method involves transmitting detection rays from scan sensor in scan region within scan level, and structures are determined by objects in planes of measurement |
-
2001
- 2001-03-19 DE DE10113219A patent/DE10113219A1/en not_active Withdrawn
-
2002
- 2002-03-11 WO PCT/DE2002/000857 patent/WO2002075653A2/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
WO2002075653A3 (en) | 2003-03-13 |
WO2002075653A2 (en) | 2002-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006057552B4 (en) | System and method for measuring the distance of a preceding vehicle | |
DE19521346C2 (en) | Image examination / recognition method, method used therein for generating reference data and devices therefor | |
EP1589484B1 (en) | Method for detecting and/or tracking objects | |
DE3505331C2 (en) | Method and device for measuring the impression left in a sample during penetration hardness testing | |
EP1371940B1 (en) | Method to identify objects on a conveyor line | |
DE102009015922A1 (en) | Method for optically scanning and measuring a scene | |
WO2020157249A1 (en) | Processing image data sets | |
EP2005361A1 (en) | Multi-sensorial hypothesis based object detector and object pursuer | |
DE102008056600A1 (en) | Method and device for recognizing objects | |
DE102020203796A1 (en) | Method and device for determining measurement information and LiDAR device | |
DE102007013664A1 (en) | Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient | |
DE102018132805A1 (en) | Procedure for improved object detection | |
DE102016119626A1 (en) | Automatic three-dimensional geolocation of SAR targets and simultaneous estimation of tropospheric propagation delays using two long-aperture SAR images | |
DE102021100351A1 (en) | ADAPTIVE EXAMINATION FOR LIDAR-BASED GROUPING | |
DE102018123393A1 (en) | Detection of parking areas | |
DE102015003666A1 (en) | Method for processing acquired measured data of a sensor | |
EP1298012B1 (en) | Method for recognizing and tracking objects | |
DE102018207744B3 (en) | Radar signal processing device | |
WO2007002964A2 (en) | Method for lane recognition | |
WO2021170321A1 (en) | Method for detecting moving objects in the surroundings of a vehicle, and motor vehicle | |
EP3663881B1 (en) | Method for controlling an autonomous vehicle on the basis of estimated movement vectors | |
EP1291674A2 (en) | Method for recognising and tracking objects | |
DE102019128907A1 (en) | Filtering of measurement data from an active optical sensor system | |
DE10113219A1 (en) | Process for fast segmentation of object surfaces from depth data | |
EP1435065A1 (en) | Automatic determination of geometric models for optical partial recognitions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8130 | Withdrawal |