DE102012222505A1 - Method of acquiring three-dimensional data of object to be measured i.e. face of person, involves identifying stripe indices of strips of fringe patterns, and determining three-dimensional data of object based on indexed strip - Google Patents
Method of acquiring three-dimensional data of object to be measured i.e. face of person, involves identifying stripe indices of strips of fringe patterns, and determining three-dimensional data of object based on indexed strip Download PDFInfo
- Publication number
- DE102012222505A1 DE102012222505A1 DE201210222505 DE102012222505A DE102012222505A1 DE 102012222505 A1 DE102012222505 A1 DE 102012222505A1 DE 201210222505 DE201210222505 DE 201210222505 DE 102012222505 A DE102012222505 A DE 102012222505A DE 102012222505 A1 DE102012222505 A1 DE 102012222505A1
- Authority
- DE
- Germany
- Prior art keywords
- strip
- stripe pattern
- stripe
- sequence
- strips
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
Description
Die Erfindung betrifft ein Verfahren zum Erfassen dreidimensionaler Daten eines zu vermessenden Objekts, die Verwendung eines derartigen Verfahrens zur Gesichtserkennung und eine Vorrichtung zur Durchführung eines derartigen Verfahrens.The invention relates to a method for acquiring three-dimensional data of an object to be measured, the use of such a method for facial recognition and a device for carrying out such a method.
Aus dem Stand der Technik ist es bekannt, ein Streifenmuster auf ein zu vermessendes Objekt zu projizieren. Die projizierten Streifen des Streifenmusters spannen jeweils im Raum eine Lichtebene auf, deren Position a priori bekannt sein muss. Dies kann beispielsweise durch eine Kalibrierung der Streifen, insbesondere mittels einer rechtwinkligen Projektionsfläche, erfolgen. Aus der Position der Streifen auf der Projektionsfläche kann bei Kenntnis der Geometrie der Projektionsfläche die Lage aller Streifen im Raum bestimmt werden. Ein derartiges Verfahren ist vorteilhaft, weil sämtliche dreidimensionalen Daten des zu vermessenden Objekts mit einer einzigen Aufnahme im sogenannten „single-shot“-Verfahren erfasst werden können. Die Verwendung eines festen Streifenmusters ist erwünscht, um den Aufwand bei der Ausführung des Projektors gering zu halten. Die Streifen eines festen Streifenmusters müssen für die Bestimmung der dreidimensionalen Daten in einem aufgenommenen Bild detektiert und indiziert werden. Den Streifen wird im aufgenommenen Bild eine Streifennummer oder ein Streifenindex sowie eine Sequenz zugewiesen. Sowohl Detektion als auch Indizierung der Streifen ist problematisch. Beispielsweise ist es möglich, dass die Streifen nicht vollständig sichtbar sind. Beispielsweise ist es denkbar, dass ein Streifen aufgrund der Textur des zu vermessenden Objekts oder wegen dunkler Färbung des zu vermessenden Objekts nicht detektierbar ist. Es ist auch denkbar, dass das zu vermessende Objekt zumindest abschnittsweise Hinterschneidungen und/oder Höhensprünge derart aufweist, dass Streifen nicht durchgängig sichtbar sind. Insbesondere ist es denkbar, dass aufgrund eines Höhensprungs ein Streifen als durchgängig sichtbar erscheint, real aber ein Versatz zwischen zwei Streifen vorliegt. Im Bereich der Gesichtserkennung sind Höhensprünge insbesondere im Bereich der Nase und insbesondere bei leicht gedrehter Kopfposition bezüglich eines Projektors und/oder einer Kamera möglich.From the prior art it is known to project a striped pattern onto an object to be measured. The projected stripes of the stripe pattern each span in space a light plane whose position must be known a priori. This can be done, for example, by calibrating the strips, in particular by means of a rectangular projection surface. From the position of the strips on the projection surface, knowing the geometry of the projection surface, the position of all strips in the space can be determined. Such a method is advantageous because all three-dimensional data of the object to be measured can be detected with a single shot in the so-called "single-shot" method. The use of a solid stripe pattern is desirable to minimize the expense of running the projector. The stripes of a solid stripe pattern must be detected and indexed for the determination of the three-dimensional data in a captured image. The stripe is assigned a stripe number or stripe index and a sequence in the captured image. Both detection and indexing of the stripes is problematic. For example, it is possible that the stripes are not completely visible. For example, it is conceivable that a strip is not detectable due to the texture of the object to be measured or because of dark coloring of the object to be measured. It is also conceivable that the object to be measured at least partially undercuts and / or height jumps has such that strips are not visible throughout. In particular, it is conceivable that due to a height jump, a strip appears to be continuously visible, but in reality there is an offset between two strips. In the area of face recognition, height jumps are possible, in particular in the region of the nose and in particular with a slightly rotated head position with respect to a projector and / or a camera.
Aus der
Die
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erfassen dreidimensionaler Daten eines zu vermessenden Objekts dahingehend zu verbessern, dass die Bestimmung der dreidimensionalen Daten zuverlässig möglich ist.The object of the present invention is to improve a method for acquiring three-dimensional data of an object to be measured in such a way that the determination of the three-dimensional data is reliably possible.
Die Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Der Kern der Erfindung besteht darin, dass ein Streifenmuster mit mehreren Streifen, die jeweils Einzel-Codes aufweisen, in einer bekannten Folge angeordnet sind und jedem Streifen ein eindeutiger Streifenindex zugewiesen ist, auf ein zu vermessendes Objekt projiziert wird. Das projizierte Streifenmuster wird mittels einer Kamera aufgenommen und an einen Auswerterechner übermittelt. Mittels des Auswerterechners werden die jeweiligen Einzel-Codes aller Streifen des Streifenmusters bestimmt. Benachbarte Streifen werden zu einer Streifengruppe zusammengefasst und eine Abfolge der Einzel-Codes der Streifengruppe bestimmt. Die Folge der Einzel-Codes der Streifengruppe wird mit der a priori bekannten Folge von Einzel-Codes des Streifenmusters verglichen. Dadurch werden die Streifenindizes der Streifen, insbesondere aller Streifen, des Streifenmusters identifiziert. Aus den indizierten Streifen werden abschließend dreidimensionale Daten des Objekts erfasst. Dies kann beispielsweise durch Triangulation erfolgen. Das erfindungsgemäße Verfahren ermöglicht also insbesondere die eindeutige, absolute und zuverlässige Identifizierung einer Folge von Einzel-Codes einer Streifengruppe, unabhängig von der Geometrie des zu vermessenden Objekts. Insbesondere ist es dadurch möglich beispielsweise nur einen reduzierten Teilbereich der Bildaufnahmefläche auszuwerten. Das Verfahren ist robust und wenig fehleranfällig.The object is solved by the features of
Ein Verfahren nach Anspruch 2 ermöglicht verschiedenwertige Codierungen des Streifenmusters. Ein binärer Code, also die Verwendung von zwei verschiedenen Einzel-Codes, ist unkompliziert und schnell auszuwerten. Derartige Einzel-Codes können vorteilhaft in einem binären System durch die Code-Zustände 0 und 1 abgebildet werden. Ein derartiger Code kann automatisiert sehr gut verarbeitet werden. Es ist auch möglich, dreiwertige, sogenannte ternäre, vierwertige, fünfwertige, sechswertige, siebenwertige, achtwertige Codes oder höherwertige Codes zu verwenden. Dadurch ist es möglich, mit weniger Streifen, mehr Informationen darstellen zu können. Ein derartiger Code weist eine erhöhte Informationsdichte auf. Das bedeutet, dass bei einem höherwertigen Code eine geringere Anzahl an zu identifizierenden Streifen ausreichend ist, um eine eindeutige Mustererkennung durchführen zu können.A method according to
Ein Verfahren nach Anspruch 3 ermöglicht das zuverlässige Detektieren eines fehlerhaft durchgängigen Streifens. Als fehlerhaft durchgängiger Streifen werden zwei Streifen des Streifenmusters verstanden, die aufgrund eines Höhensprungs in dem zu vermessenden Objekt bei der Auswertung, insbesondere bei der Bilddarstellung der projizierten Streifenfläche, als ein einziger durchgängiger Streifen entlang der Streifenrichtung wahrgenommen werden können. Dadurch, dass das Verfahren einen häufigen Wechsel der Einzel-Codes aufweist, kann ein fehlerhaft durchgängiger Streifen mit erhöhter Zuverlässigkeit detektiert werden. Ein maximaler Wechsel der Einzel-Codes ist dann gegeben, wenn zwei aufeinanderfolgende Einzel-Streifen verschiedene Einzel-Codes aufweisen wie beispielsweise 1 0 1 0 1 usw. Mit einem derartigen Streifenmuster kann ein Versatz eines Streifens sicher detektiert werden. Jedoch würde aufgrund der Periodizität des Musters bei einem Versatz von zwei Streifen, da das Ausgangs-Streifenmuster und das erfasste Streifenmuster bei einem Zweistreifen-Versatz identisch übereinander angeordnet werden, nicht erfasst werden. Es ist also vorteilhaft, wenn ein häufiger Wechsel der Einzel-Codes vorgesehen ist, wobei gleichzeitig die Detektion eines Streifen-Versatzes gewährleistet sein muss. Besonders vorteilhaft ist es beispielsweise, wenn ein Streifenmuster beispielsweise als Pseudozufallsrauschen zufällig generiert ist und insbesondere keine periodische Anordnung der Einzel-Codes aufweist. Für die Darstellung eines derartigen Streifenmusters hat sich ein sogenannter PN-Code, der im Folgenden noch beschrieben, als vorteilhaft erwiesen. Der PN-Code kann die Länge 31 aufweisen, sodass das Streifenmuster 31 Einzel-Codes aufweist. Ein PN-Code dieser Länge weist maximal fünf identische aufeinanderfolgende Einzel-Codes auf. Ein PN-Code gewährleistet einen häufigen Wechsel der Einzel-Codes.A method according to
Ein Verfahren nach Anspruch 4 ermöglicht eine besonders vorteilhafte Auswertung des aufgenommenen Streifenmusters. Dazu weist eine verwendete Codierung perfekte oder fast perfekte Autokorrelationseigenschaften auf. Das bedeutet, dass eine derartige Codierung für eine Synchronisation vorteilhaft ist. Dadurch ist es möglich, einen Zusammenhang zwischen den benachbarten Einzel-Codes zuverlässig und eindeutig festzustellen. Perfekte Autokorrelationseigenschaften im Sinne dieser Anmeldung sind dann gegeben, wenn das Streifenmuster eine Folge von Einzel-Codes derart aufweist, dass eine zugehörige Autokorrelationsfunktion ein ausgeprägtes Maximum hat. Insbesondere ist das Maximum mittig und insbesondere an einer Stelle „Null“ angeordnet. Insbesondere ist die Autokorrelationsfunktion symmetrisch bezüglich der Position des Maximums ausgebildet. Der Wert der Autokorrelationsfunktion an der Stelle des Maximums entspricht der Länge der Folge der Einzel-Codes. Die übrigen Funktionswerte der Autokorrelationsfunktion neben dem Maximum sind 0. Fast perfekte Autokorrelationseigenschaften im Sinne dieser Anmeldung sind dann gegeben, wenn die Funktionswerte der Autokorrelationsfunktion neben dem Maximum deutlich kleiner sind und beispielsweise 1 oder –1 betragen. Codierungen, die fast perfekte Autokorrelationseigenschaften aufweisen, sind beispielsweise ein PN-Code oder ein Barker-Code, die später noch erläutert werden. Unter Synchronisation ist in diesem Zusammenhang die Zuweisung der a priori bekannten Streifengruppe mit Einzel-Codes zu verstehen. Die Zuweisung ermöglicht die Zuordnung der absoluten Streifenindizes. A method according to
Insbesondere ist ein Ausgabewert der fast perfekten Autokorrelationsfunktion neben dem Maximum deutlich kleiner als das Maximum, insbesondere kleiner als 20 Prozent des Maximalwerts und insbesondere kleiner als 10 Prozent des Maximalwerts der Autokorrelationsfunktion.In particular, an output value of the near-perfect autocorrelation function next to the maximum is significantly smaller than the maximum, in particular less than 20 percent of the maximum value and in particular less than 10 percent of the maximum value of the autocorrelation function.
Ein Verfahren nach Anspruch 5 ermöglicht eine schnelle und zuverlässige Durchführung der Synchronisierung bei der Indexierung der Folgen der Einzel-Codes. Insbesondere ist es möglich, auf aus der Literatur bekannte binäre Codierungen, insbesondere auf einen Barker-Code oder auf ein Pseudozufallsrauschen, eine sogenannte PN-Sequenz, zurückzugreifen. Weitere binäre Codierungen, die fast perfekte Autokorrelationseigenschaften aufweisen und daher für die Durchführung der Synchronisierung besonders geeignet sind, sind an sich bekannte Codierungen von Lindner, Golay, Boehmer und Schroeder. Eine ternäre Codierung, die perfekte Autokorrelationseigenschaften aufweist, ist eine Codierung von Ipatov. Es ist insbesondere nicht erforderlich, neue Codierungen zu generieren. Erfindungsgemäß wurde also erkannt, dass an sich bekannte Codierungen besonders vorteilhaft bei der Auswertung eines Streifenmusters eingesetzt werden können.A method according to
Ein Verfahren nach Anspruch 6 gewährleistet eine zuverlässige, sichere und insbesondere schnelle Auswertung eines Streifenmusters. Es ist möglich nur eine reduzierte Anzahl an Streifen eines Streifenmusters auszuwerten, um eine eindeutige Identifikation sämtlicher Streifen des Streifenmusters zu erhalten. Es ist also möglich, einen reduzierten Teilbereich des aufgenommenen Bildes auszuwerten, um daraus die gesamte Sequenz aller Streifen des Bildes zu rekonstruieren. Eine Mindeststreifenzahl, die zur zuverlässigen Auswertung des Streifenmusters erforderlich ist und die vorteilhafterweise möglichst klein sein sollte, ergibt sich aus einer Gesamtzahl der verwendeten Einzel-Codes einer PN-Sequenz. Insbesondere ist es ausreichend, dass sechs oder sieben Einzel-Codes einer Streifengruppe ausgewertet werden, um ein gesamtes Streifenmuster auswerten und identifizieren zu können. Die Größe des gesamten Streifenmusters, also die Anzahl der Streifen des Streifenmusters wird durch die zu erzielende Messauflösung vorgegeben. Es ist möglich, eine PN-Sequenz derart auswählen, dass das gesamte Streifenmuster mit einer einzigen PN-Sequenz abgebildet werden kann. Das bedeutet, dass eine derartige PN-Sequenz mindestens so viele Einzel-Codes aufweist wie die Anzahl der Streifen des Streifenmusters, die durch die zu erzielende Messauflösung vorgegeben ist. Es ist auch möglich, das gesamte Streifenmuster in Teil-Streifenmuster zu unterteilen, wobei jedes der Teil-Streifenmuster entsprechend ausgewertet wird. Für die Auswertung eines derartigen Teil-Streifenmusters kann die verwendete PN-Sequenz eine reduzierte Länge aufweisen, sodass zur Indizierung einer derartigen, reduzierten PN-Sequenz eine reduzierte Anzahl von Einzel-Codes zur eindeutigen Indizierung ausreichend ist. Die Erfassung der dreidimensionalen Daten des zu vermessenden Objekts erfolgt auf Basis einer möglichst geringen Untermenge an Einzel-Codes. Auf Basis der klassifizierten Streifen kann eine korrekte Streifenindizierung erfolgen. Die einzelnen Teil-Streifenmuster werden dann zu einem Gesamtbild zusammengefügt.A method according to
Ein Verfahren nach Anspruch 7 ermöglicht eine Fehlertoleranz bei der Identifizierung der Streifenindizes. Sofern beispielsweise eine Mindestanzahl an Streifen für eine eindeutige Identifikation erreicht ist, können zusätzliche identifizierte Streifen einer derartigen Streifengruppe, die zu einer Überbestimmung des Ergebnisses führen, eine Fehlertoleranz bei der Identifizierung der Streifenindizes ermöglichen.A method according to
Ein Verfahren nach Anspruch 8 ermöglicht eine zusätzliche Beschleunigung bei der Durchführung der Identifikation der Streifenindizes. Dadurch, dass vor dem Projizieren des Streifenmusters ein Aufteilen des zu vermessenden Objekts in mehrere Teilbereiche erfolgt, wobei anschließend die weiteren Verfahrensschritte für jeden der Teilbereiche analog durchgeführt werden, ist es möglich, die Mindestanzahl der zu identifizierenden Einzel-Codes für eine eindeutige Identifikation zu reduzieren. Beispielsweise ist es denkbar, ein Bild in einen oberen Bildteil und in einen unteren Bildteil aufzuteilen, wobei eine Zuordnung einer Folge von Einzel-Codes zu dem jeweiligen Bildteil direkt und unkompliziert möglich ist. Die Teilbereiche für sich sind kleiner als das Gesamtobjekt, sodass die Identifikation der Folge von Einzel-Codes schneller erfolgen kann. In Abhängigkeit des zu vermessenden Objekts kann eine Aufteilung in mehr als zwei Teilbereiche erfolgen. Dadurch ist es möglich, besonders große Bilder in mehrere Bildteile zu unterteilen. Jeder einzelne Bildteil kann eindeutig auf Basis einer vorher festgelegten Mindeststreifenzahl indiziert werden. Es ist möglich, große Bildbereiche, die in mehrere Bildteile unterteilt sind, auf Basis weniger Einzel-Codes eindeutig und direkt zu identifizieren.A method according to
Ein Verfahren nach Anspruch 9 ermöglicht eine besonders vorteilhafte Realisierung der Codierung. Eine derartige Codierung ist besonders unkompliziert umzusetzen. Es ist beispielsweise denkbar, ein festes, also statisches Muster zu erzeugen, das mittels eines feststehenden Dias und einer Lichtquelle in einem Projektor auf das zu vermessende Objekt projiziert wird. Eine Helligkeits-Codierung ermöglicht die Gestaltung geometrisch identischer Streifen, wobei die Helligkeit der Streifen auf dem zu vermessenden Objekt unterschiedlich ist. Um eine Helligkeits-Codierung erzeugen zu können, können verschiedene Grauwertstufen-Codes oder Rasterungen verschiedener Dichten für die jeweiligen Streifen verwendet werden. Unter einer Helligkeits-Codierung im Sinne dieser Anmeldung wird auch eine Codierung der Farbe verstanden. Eine Helligkeits-Codierung kann also dadurch erzeugt werden, dass Einzel-Codes verschiedene Farben, also verschiedene Farb-Codes aufweisen, die beispielsweise durch eine RGB-Codierung oder durch eine CMYK-Codierung identifiziert werden können. Für die Projektion unterschiedlicher Farb-Codierungen wird Licht verschiedener Wellenlängen verwendet.Ein Verfahren mit einer periodischen Modulation der Helligkeits-Codierung ermöglicht eine verbesserte Zuverlässigkeit bei der Auswertung bzw. bei der Erfassung des Codes. Die periodische Modulation erfolgt insbesondere entlang der Streifenrichtung.A method according to
Ein Verfahren nach Anspruch 10 ermöglicht eine vorteilhafte und unkomplizierte anlagentechnische Umsetzung der Codierung.A method according to
Ein Verfahren nach Anspruch 11 ermöglicht eine besonders robuste und unkomplizierte Erzeugung der Codierung. Die Codierung durch unterschiedliche Streifenbreiten kann durch die Verwendung einer Maske in dem Projektor erfolgen. In ähnlicher Weise kann auch die Streifenstruktur, insbesondere entlang einer Streifenlängsrichtung, codiert werden. Die Streifenstruktur kann beispielsweise durch eine Unterbrechung des Streifens entlang der Streifenlängsrichtung und/oder durch die Verwendung von in dem Streifen integrierten Strichcodes erzeugt werden.A method according to
Bei einem Verfahren nach Anspruch 12 kann eine zeitlich veränderliche Codierung dadurch erfolgen, dass in zwei oder mehr nacheinander folgenden Aufnahmen die Darstellung eines Streifens variiert, wobei die Position eines derart variierten Streifens im Streifenmuster unverändert ist. Durch die Veränderung der Streifen von Bild zu Bild ergibt die zeitlich veränderliche Codierung.In a method according to
Zur Verbesserung der Streifendetektion ist es auch möglich, mindestens zwei der vorteilhaften Codierungen gemäß den Ansprüchen 9 bis 12 zu kombinieren. Beispielsweise kann eine Helligkeits-Codierung des Verfahrens nach Anspruch 9 mit einer geometrischen Codierung eines Verfahrens nach Anspruch 11 kombiniert werden. Die Einzel-Codes eines derartigen Streifenmusters unterscheiden sich also beispielsweise durch deren Helligkeit und deren geometrische Form. Es ist auch möglich, verschiedene andere Kombinationen von Codierungen anzuwenden. To improve the strip detection, it is also possible to combine at least two of the advantageous codings according to
Ein Verfahren nach Anspruch 13 ermöglicht eine unsichtbare Projektion des Streifenmusters, insbesondere mittels einer Lichtquelle im nahen Infrarot-Bereich. Eine derartige Projektion ist insbesondere vorteilhaft bei der Anwendung zur Gesichtserkennung. Eine Person wird durch das unsichtbare Licht nicht geblendet. Insbesondere ist es möglich, das Verfahren zur Gesichtserkennung einer Person von dieser unbemerkt durchzuführen. Das Verfahren erfolgt unauffällig und wird insbesondere als nicht störend empfunden.A method according to
Ein Verfahren nach Anspruch 14 ermöglicht die vorteilhafte Anwendung des Verfahrens zur Gesichtserkennung.A method according to
Es ist eine weitere Aufgabe der vorliegenden Erfindung eine Vorrichtung zur Durchführung des Verfahrens zum Erfassen dreidimensionaler Daten eines zu vermessenden Objekts zu vereinfachen.It is another object of the present invention to simplify an apparatus for performing the method of acquiring three-dimensional data of an object to be measured.
Diese Aufgabe wird durch die Merkmale des Anspruchs 15 gelöst. Der Kern der Erfindung besteht darin, dass der Projektor eine Codierung eines zu projizierenden Streifenmusters derart ermöglicht, dass eine schnelle, robuste und zuverlässige Identifikation des Streifenmusters und insbesondere eine eindeutige Indexierung der Streifen möglich ist. Die Vorteile einer derartigen Vorrichtung entsprechen denen des erfindungsgemäßen Verfahrens, worauf hiermit verwiesen wird.This object is solved by the features of
Weitere vorteilhafte Ausgestaltungen der Erfindung, zusätzliche Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Es zeigen:Further advantageous embodiments of the invention, additional features and details emerge from the following description of exemplary embodiments with reference to the drawing. Show it:
Eine in
Die Vorrichtung
Sowohl die Kamera
Gemäß der Darstellung in
Im Folgenden wird anhand der
In einem weiteren Verfahrensschritt
Ein von dem Projektor
In
Es ist grundsätzlich auch möglich, höherwertige Codes wie beispielsweise einen ternären Code mit drei unterschiedlichen Streifentypen zu verwenden, um insbesondere die Funktionsdichte bei der Codierung zu erhöhen.In principle, it is also possible to use higher-order codes, such as a ternary code with three different stripe types, in particular to increase the functional density in the coding.
Für die Detektion des Codes an sich ist es erforderlich, dass eine Folge von Einzel-Codes verwendet wird, die vorteilhafte Eigenschaften für die Synchronisation aufweist. Eine derartige Folge von Einzel-Codes hat gute Autokorrelationseigenschaften. Eine derartige Code-Folge ist der sogenannte Barker-Code der Länge 7. Der Code lautet:
Die Autokorrelationsfunktion
Im Folgenden werden anhand der
Ein hinsichtlich der Detektion verbessertes Streifenmuster gemäß einem weiteren Ausführungsbeispiel
Die geometrischen Abmessungen der Streifen und eine Periodendauer der Helligkeitsmodulation hängen insbesondere von der Auflösung der Kamera
Eine Verbesserung der Auflösung kann dadurch erreicht werden, dass die Streifenbreite reduziert wird und insbesondere beispielsweise 5 Pixel oder weniger Pixel aufweisen kann. Dadurch kann die Anzahl der Streifen pro Dia erhöht werden. Jedoch steigt bei einer reduzierten Streifenbreite das Risiko einer fehlerhaften Detektion. Insbesondere ist dadurch die Identifizierung der Streifen erschwert. Eine Vergrößerung der Streifenbreite vereinfacht die Detektion der Streifen an sich. Das Verfahren ist besonders robust durchführbar und weist eine hohe Zuverlässigkeit auf. Allerdings ist die Auflösung der dreidimensionalen Messung bei erhöhter Streifenbreite aufgrund der reduzierten Streifenanzahl pro Bild reduziert.An improvement of the resolution can be achieved by reducing the stripe width and in particular, for example, can have 5 pixels or less pixels. This can increase the number of strips per slide. However, with a reduced stripe width, the risk of erroneous detection increases. In particular, this makes it difficult to identify the strips. Increasing the stripe width simplifies the detection of the stripes per se. The method is particularly robust feasible and has a high reliability. However, the resolution of the three-dimensional measurement is reduced with increased stripe width due to the reduced number of stripe per image.
Dies gilt in ähnlicher Weise für die Helligkeitsmodulation. Je kürzer eine Periodendauer der Helligkeitsmodulation ist, also je kürzer die jeweilige Längenausdehnung der Abschnitte
Eine weitere Ausführungsform eines Streifenmusters
Anstelle eines Barker-Codes kann auch ein sogenanntes Pseudozufallsrauschen verwendet werden, das auch als PN-Sequenz bezeichnet wird. Eine PN-Sequenz umfasst eine Aneinanderreihung der Binärziffern 0, 1, die scheinbar zufällig angeordnet sind. PN-Sequenzen weisen perfekte Autokorrelationseigenschaften auf.PN-Sequenzen haben sich als für die Verwendung in dem erfindungsgemäßen Verfahren als besonders geeignet erwiesen. PN-Sequenzen an sich sind aus dem Stand der Technik bekannt. Ein Beispiel für eine PN-Sequenz der Länge 15 gemäß 1 1 1 1 0 1 0 1 1 0 0 1 0 0 0 ist in
Eine PN-Sequenz mit der Länge 31 lautet beispielsweise:
Wesentliches Merkmal der PN-Sequenz ist die Eigenschaft, dass bereits eine reduzierte Anzahl, also eine Mindestanzahl s, der Streifen einer Streifengruppe ausreichend ist, um eine eindeutige Identifizierung der Folge der Einzel-Codes aller Streifen n des gesamten Streifenmusters zu ermöglichen. Die Bestimmungsgleichung hierfür lautet:
Das bedeutet, dass bei der gegebenen Länge der Codierung von 31, also einer Streifenanzahl n = 31, eine Mindeststreifenanzahl s = 5 erforderlich ist, um die gezeigte Streifenfolge der PN-Sequenz eindeutig zu identifizieren. Sobald fünf aufeinanderfolgende Einzel-Codes identifiziert sind, können sämtliche Streifenindizes eindeutig und mit absoluter Position innerhalb des Streifenmusters angegebenen werden. Auf Basis dieser Daten kann zuverlässig eine Berechnung der dreidimensionalen Daten mittels Triangulation erfolgen.This means that for the given length of the coding of 31, ie a number of stripes n = 31, a minimum number of stripes s = 5 is required in order to unambiguously identify the shown sequence of sequences of the PN sequence. Once five consecutive single codes are identified, all strip indices can be specified uniquely and with absolute position within the strip pattern become. On the basis of these data, it is possible to reliably calculate the three-dimensional data by means of triangulation.
Sofern die Mindeststreifenanzahl innerhalb einer identifizierten Streifengruppe überschritten ist, kann dies einer Fehlertoleranz dienen, um trotz einer fehlerhaften Klassifizierung eines Einzel-Codes eine fehlerfreie Zuordnung der Streifenindizes zu erhalten. Beispielsweise kann bei einer ermittelten Code-Folge von sechs Einzel-Codes und bei einer erforderlichen Mindeststreifenanzahl von fünf ein Einzel-Code fehlerhaft klassifiziert worden sein, ohne das Ergebnis, also die Erfassung des Streifenmusters, zu verfälschen. Unter einer fehlerhaften Klassifizierung ist insbesondere eine irrtümliche Vertauschung eines Einzel-Codes zu verstehen, wobei ein Einzel-Code des Typs „1“ irrtümlich als Einzel-Code des Typs „0“ klassifiziert worden ist oder umgekehrt. Bei großen Bildern, also wenn beispielsweise mehr als 100 Streifen pro Bild zur Abbildung des zu vermessenden Objekts erforderlich sind, kann dennoch eine ausreichend hohe Auflösung der dreidimensionalen Koordinaten mit einer Code-Folge mit einer Mindeststreifenzahl von maximal 6 erreicht werden. In einem vorgelagerten Schritt wird das zu identifizierende Bild in zwei Bildteile, nämlich ein Bildoberteil und ein Bildunterteil aufgeteilt werden. Die beiden Bildteile könnten jeweils identische Größe aufweisen. Es ist möglich, die beiden Bildteile beispielsweise mit jeweils 63 Einzelstreifen abzubilden. Die Gesamtfolge des Bildoberteils und des Bildunterteils hätte somit eine Länge von 2 × 63 = 126 und könnte die Gesamtlänge des abzubildenden Gesamtbildes von mehr als 100 Streifen abbilden. Hier wäre es für die absolute Identifizierung des Streifenmusters nun ausreichend, bereits sechs aufeinanderfolgende Streifentypen zu identifizieren. Eine Zuordnung eines Bildausschnitts zu dem oberen bzw. unteren Bildteil ist möglich.If the minimum number of strips within an identified strip group is exceeded, this can serve for a fault tolerance, in order to obtain an error-free assignment of the strip indices despite a faulty classification of a single code. For example, given a determined code sequence of six individual codes and with a required minimum number of strips of five, a single code may have been incorrectly classified without falsifying the result, ie the detection of the strip pattern. In particular, an erroneous classification is to be understood as an erroneous permutation of a single code, whereby a single code of the type "1" has been erroneously classified as a single code of the type "0" or vice versa. For large images, that is, for example, if more than 100 strips per image are required to image the object to be measured, nevertheless a sufficiently high resolution of the three-dimensional coordinates can be achieved with a code sequence with a minimum number of strands of 6. In an upstream step, the image to be identified is divided into two image parts, namely an image upper part and a lower image part. The two image parts could each have identical size. It is possible, for example, to image the two image parts with 63 individual strips each. The overall sequence of the image top and the image bottom part would thus have a length of 2 × 63 = 126 and could map the total length of the overall image to be imaged of more than 100 strips. Here it would be sufficient for the absolute identification of the stripe pattern to already identify six consecutive stripe types. An assignment of an image section to the upper or lower image part is possible.
Insbesondere aufgrund der Wechsel des Streifentyps, also dem Einzel-Code „0“ bzw. „1“ ist es möglich fehlerhaft durchgehend Streifen zuverlässig zu detektieren. Bei der oben angegebenen PN-Sequenz ist die Anzahl der aufeinanderfolgenden, identischen Einzel-Codes maximal 5. Das bedeutet, dass die Anzahl der maximal aufeinanderfolgenden Einzel-Codes durch den Exponenten n begrenzt ist. Dadurch ist gewährleistet, dass die PN-Sequenz einen häufigen Wechsel der Einzel-Codes ermöglicht. Gleichzeitig ist die Folge der Einzel-Codes zufällig und insbesondere nicht periodisch erzeugt und gewährleistet somit, dass ein Streifenversatz erfasst und somit ein fehlerhaft durchgängiger Streifen entdeckt werden kann.In particular, due to the change of the strip type, ie the single code "0" or "1", it is possible to reliably detect strips consistently reliably. In the above PN sequence, the number of consecutive identical single codes is 5 at most. That is, the number of maximum consecutive single codes is limited by the exponent n. This ensures that the PN sequence allows a frequent change of single codes. At the same time, the sequence of individual codes is generated randomly and in particular not periodically, thus ensuring that a streak offset is detected and thus a faulty continuous strip can be detected.
Dadurch, dass ein feststehendes, homogenes Streifenmuster für die Codierung verwendet wird, ist der apparative Aufwand für die Durchführung des Verfahrens reduziert.The fact that a fixed, homogeneous stripe pattern is used for the coding, the apparatus required for the implementation of the method is reduced.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 2008/0237505 A1 [0003] US 2008/0237505 A1 [0003]
- US 7768656 B2 [0004] US 7768656 B2 [0004]
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012222505.6A DE102012222505B4 (en) | 2012-12-07 | 2012-12-07 | Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012222505.6A DE102012222505B4 (en) | 2012-12-07 | 2012-12-07 | Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102012222505A1 true DE102012222505A1 (en) | 2014-06-12 |
DE102012222505B4 DE102012222505B4 (en) | 2017-11-09 |
Family
ID=50778074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012222505.6A Expired - Fee Related DE102012222505B4 (en) | 2012-12-07 | 2012-12-07 | Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012222505B4 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014207022A1 (en) * | 2014-04-11 | 2015-10-29 | Siemens Aktiengesellschaft | Depth determination of a surface of a test object |
DE102016113228A1 (en) * | 2016-07-18 | 2018-01-18 | Ensenso GmbH | System with camera, projector and evaluation device |
CN113383207A (en) * | 2018-10-04 | 2021-09-10 | 杜·普雷兹·伊萨克 | Optical surface encoder |
US20220364853A1 (en) * | 2019-10-24 | 2022-11-17 | Shining 3D Tech Co., Ltd. | Three-Dimensional Scanner and Three-Dimensional Scanning Method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4653104A (en) * | 1984-09-24 | 1987-03-24 | Westinghouse Electric Corp. | Optical three-dimensional digital data acquisition system |
US5408323A (en) * | 1990-10-20 | 1995-04-18 | British Technology Group, Ltd. | Position fixing apparatus with radiation sensor |
DE19963333A1 (en) * | 1999-12-27 | 2001-07-12 | Siemens Ag | Procedure for determining three-dimensional surface coordinates |
DE10359534A1 (en) * | 2003-12-17 | 2005-07-14 | Endress + Hauser Gmbh + Co. Kg | Method and device for optimizing the emission in pulse echo methods |
US20070085849A1 (en) * | 2003-09-11 | 2007-04-19 | Samuel Kosolapov | Color edge based system and method for determination of 3d surface topology |
US20080237505A1 (en) | 2004-02-05 | 2008-10-02 | Sheffield Hallam University | Method and System for Image Processing for Profiling with Uncoded Structured Light |
US20090221874A1 (en) * | 2005-11-28 | 2009-09-03 | 3Shape A/S | Coded structure light |
US7768656B2 (en) | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004008904A1 (en) * | 2004-02-24 | 2005-09-08 | Siemens Ag | Device and method for determining spatial coordinates of an object |
EP2318810B1 (en) * | 2008-08-26 | 2018-08-01 | The University Court Of The University Of Glasgow | Uses of electromagnetic interference patterns |
JP5631025B2 (en) * | 2010-03-10 | 2014-11-26 | キヤノン株式会社 | Information processing apparatus, processing method thereof, and program |
-
2012
- 2012-12-07 DE DE102012222505.6A patent/DE102012222505B4/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4653104A (en) * | 1984-09-24 | 1987-03-24 | Westinghouse Electric Corp. | Optical three-dimensional digital data acquisition system |
US5408323A (en) * | 1990-10-20 | 1995-04-18 | British Technology Group, Ltd. | Position fixing apparatus with radiation sensor |
DE19963333A1 (en) * | 1999-12-27 | 2001-07-12 | Siemens Ag | Procedure for determining three-dimensional surface coordinates |
US20070085849A1 (en) * | 2003-09-11 | 2007-04-19 | Samuel Kosolapov | Color edge based system and method for determination of 3d surface topology |
DE10359534A1 (en) * | 2003-12-17 | 2005-07-14 | Endress + Hauser Gmbh + Co. Kg | Method and device for optimizing the emission in pulse echo methods |
US20080237505A1 (en) | 2004-02-05 | 2008-10-02 | Sheffield Hallam University | Method and System for Image Processing for Profiling with Uncoded Structured Light |
US20090221874A1 (en) * | 2005-11-28 | 2009-09-03 | 3Shape A/S | Coded structure light |
US7768656B2 (en) | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
Non-Patent Citations (4)
Title |
---|
J. Geng; "Structured-light 3D surface imaging: a tutorial"; Advances in Optics and Photonics, Vol. 3, No.2, 2011, S. 128 - 160 * |
J. Geng; "Structured-light 3D surface imaging: a tutorial"; Advances in Optics and Photonics, Vol. 3, No.2, 2011, S. 128 – 160 |
J. Salvi et al.; "Pattern codification strategies in structured light systems"; Pattern Recognition 37, 2004, S. 827 - 849 * |
J. Salvi et al.; "Pattern codification strategies in structured light systems"; Pattern Recognition 37, 2004, S. 827 – 849 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014207022A1 (en) * | 2014-04-11 | 2015-10-29 | Siemens Aktiengesellschaft | Depth determination of a surface of a test object |
US10247548B2 (en) | 2014-04-11 | 2019-04-02 | Siemens Aktiengesellschaft | Measuring depth of a surface of a test object |
DE102016113228A1 (en) * | 2016-07-18 | 2018-01-18 | Ensenso GmbH | System with camera, projector and evaluation device |
CN113383207A (en) * | 2018-10-04 | 2021-09-10 | 杜·普雷兹·伊萨克 | Optical surface encoder |
US20220364853A1 (en) * | 2019-10-24 | 2022-11-17 | Shining 3D Tech Co., Ltd. | Three-Dimensional Scanner and Three-Dimensional Scanning Method |
Also Published As
Publication number | Publication date |
---|---|
DE102012222505B4 (en) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112012001243B4 (en) | Method for measuring depth values in a scene | |
EP1242786B1 (en) | Method for determining three-dimensional surface coordinates | |
EP1971820B1 (en) | Creation of a distance image | |
EP1523654B1 (en) | Method and device for three-dimensionally detecting objects and the use of this device and method | |
DE102017009128B4 (en) | Projection pattern making device and three-dimensional measuring device | |
DE102008002730B4 (en) | Method and device for 3D reconstruction | |
DE102013013791B4 (en) | Method and device for non-contact measurement of surface contours | |
DE102011080180A1 (en) | Method for registering a plurality of three-dimensional recordings of a dental object | |
DE102012108567A1 (en) | Method and apparatus for obtaining depth information using a light pattern | |
DE102012222505B4 (en) | Method for acquiring three-dimensional data of an object to be measured, use of such a method for facial recognition and apparatus for carrying out such a method | |
EP3775767B1 (en) | Method and system for measuring an object by means of stereoscopy | |
DE112018004661T5 (en) | Shadow detection method for a surveillance video image, system thereof, and shadow removal method | |
EP3089106A1 (en) | Method for reflection adjustment of images and related apparatus | |
DE102012023623A1 (en) | Method for assembling sub-housings of surface of static object, involves determining homologous image points of partial images of surface of object, and assembling images using homologous image points to form overall housing | |
WO2010007094A2 (en) | Method and arrangement for 3d detection of objects, and a corresponding computer program and computer-readable storage medium | |
DE102014104903A1 (en) | Method and sensor for generating and detecting patterns on a surface | |
DE102017117211B3 (en) | A method of trajectory-based feature mapping in an image captured by an image capture unit of a vehicle | |
DE102009006089B4 (en) | Method of assigning pixels | |
DE102021109140A1 (en) | Method and arrangement for the optical detection of a person's head | |
WO2017027895A1 (en) | Photometric stereo matching | |
EP3214602A1 (en) | Method for three-dimensional recording of objects | |
DE102012013079B4 (en) | Method and device for non-contact detection of a three-dimensional contour | |
DE102021004071B3 (en) | Device and method for generating photometric stereo images and a color image | |
DE102009057724B4 (en) | Image capture device and method for reducing motion blur | |
DE102015226011A1 (en) | Detection device for detecting at least one reflective element in a detection area, vehicle and method for detecting a detection area by means of a detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |