DE19623172C1 - Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen - Google Patents
Verfahren zur dreidimensionalen optischen Vermessung von ObjektoberflächenInfo
- Publication number
- DE19623172C1 DE19623172C1 DE19623172A DE19623172A DE19623172C1 DE 19623172 C1 DE19623172 C1 DE 19623172C1 DE 19623172 A DE19623172 A DE 19623172A DE 19623172 A DE19623172 A DE 19623172A DE 19623172 C1 DE19623172 C1 DE 19623172C1
- Authority
- DE
- Germany
- Prior art keywords
- pixel
- determined
- gray value
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
Die Erfindung betrifft ein Verfahren zur dreidimensionalen optischen Vermessung von
Objektoberflächen, bei dem Muster auf die Objektoberfläche projiziert und die Objektkoordinaten
unter Anwendung einer Ähnlichkeitsanalyse der Grauwertverläufe in den von mindestens zwei
Matrixkameras aufgenommenen Bildern der Objektoberfläche bestimmt werden.
Bekannte Verfahren zur dreidimensionalen optischen Objekt-Vermessung im Nahbereich sind z. B.
photogrammetrische Verfahren oder Streifenprojektions-Verfahren. Während bei den
Streifenprojektions-Verfahren auf das zu vermessende Objekt geometrisch möglichst exakt
definierte, streifenförmige Muster projiziert werden, können bei der Photogrammetrie mehr oder
weniger willkürliche Muster verwendet werden.
Der Projektor zur Projektion von Mustern auf die Objektoberfläche wird nachfolgend als
Musterprojektor bezeichnet. Die Einrichtung zur Erzeugung eines Bildes der Objektoberfläche und
der Sensor für die pixelweise Erfassung der Intensitätsverteilung in diesem Bild wird nachfolgend
und insbesondere in den Ansprüchen zusammenfassend als Matrixkamera bezeichnet. Insofern
werden unter die Bezeichnung Matrixkamera insbesondere CCD-Kameras und sonstige
Anordnungen subsumiert, die geeignet sind, pixelweise eine Intensitätsverteilung zu erfassen.
Unter einem Punkt im Subpixelbereich wird ein Ort auf dem Sensor verstanden, der zwischen den
Pixelmittelpunkten liegt. Da man im allgemeinen davon ausgeht, daß die gemessenen Grauwerte nur
für die Mittelpunkte der Pixel gelten, sollte der Grauwert für einen Punkt im Subpixelbereich aus den
umliegenden Pixeln interpoliert werden. Hierfür eignet sich z. B. die bilineare Interpolation, bei der
der Grauwert aus den 4 umliegenden Pixeln berechnet wird.
Zu einem ausgewählten Pixel des Sensors einer 1. Matrixkamera kann der nachfolgend als
korrespondierender Punkt bezeichnete Ort auf dem Sensor einer 2. Matrixkamera so bestimmt
werden, daß auf dem ausgewählten Pixel und dem korrespondierenden Punkt der gleiche Teil der
Oberfläche des zu vermessenden Körpers abgebildet wird.
Bei Streifenprojektions-Verfahren besteht der Meßaufbau im einfachsten Fall aus einem
Musterprojektor zur Projektion einer streifenförmigen Struktur, einer Matrixkamera (z. B. DE 39 38 714 A1)
sowie dem zu vermessenden Objekt. Die Formen der auf die Oberfläche projizierten
Streifen, die in determinierter Weise vom Objekt beeinflußt werden, werden vom Sensor erfaßt und
können mittels eines nachgeschalteten Rechners ausgewertet werden.
Es ist auch bekannt, zwei Matrixkameras einzusetzen (z. B. US 4842411), um ein Bildpaar von der
mit einem Musterprojektor statisch beleuchteten Objektoberfläche zu erzeugen. Auch bei dieser
Variante werden die Objektkoordinaten unter Anwendung einer Ähnlichkeitsanalyse der
Grauwertverläufe benachbarter Pixel bestimmt, die aus dem besagten Bildpaar stammen.
Aus der DE 195 25 561 A1 ist ein Verfahren zur dreidimensionalen optischen Vermessung von
Objektoberflächen entnehmbar, bei dem Streifenmuster mit näherungsweise rechteckförmigen Hell-
Dunkel-Übergängen auf die Oberfläche des Objekts projiziert und die Objektkoordinaten unter
Anwendung einer Analyse der von zwei Matrixkameras aufgenommenen Bilder der Objektoberfläche
bestimmt werden. Hierbei erzeugt jede Matrixkamera in an sich bekannter Weise einen Satz von N
zeitlich aufeinander folgenden Bildern, wobei zwischen den Bildaufnahmen die Streifenzahl des
Musters verändert wird. Die von den Matrixkameras aufgenommenen Bilder dienen zur Erzeugung
von Raumcodewerten. Ziel ist es im wesentlichen, charakteristische Größen (z. B. Ecken)
geometrischer Gebilde zu bestimmen, vorzugsweise von Objekten mit ebenen Oberseiten. Hierzu
werden die dreidimensionalen Koordinaten eines Punktes durch den entsprechenden Raumcodewert
und die Ebenengleichung der Oberseite des zu vermessenden Körpers bestimmt.
Ein spezielles Streifenprojektions-Verfahren ist das Phasenschiebeverfahren, das relativ hohe
Genauigkeiten der gemessenen 3D-Koordinaten gewährleistet. Wesentliche Aufgaben bei der
Auswertung der von den Matrixkameras erfaßten Intensitätsverteilungen bestehen darin, die absolute
Ordnung der einzelnen Streifen sowie für jeden Bildpunkt die Phasenlage zu bestimmen.
Für letzteres werden von der Objektoberfläche zeitlich nacheinander N 3 Einzelaufnahmen erzeugt,
wobei das auf die Oberfläche projizierte, periodische Streifenmuster zwischen den Aufnahmen um
jeweils den n-ten Teil der Streifenperiode verschoben wird. Somit wird für jeden Bildpunkt ein Satz
von N Einzelaufnahmen erhalten.
Ein genereller Nachteil der Koordinatenmessung nach dem Phasenschiebe-Verfahren besteht in der
Notwendigkeit, den Musterprojektor zu kalibrieren. Dies resultiert aus dem Prinzip, die 3D-Ko
ordinaten mit Hilfe der Matrixkamera und des Projektors (i. allg. durch Triangulation) zu
bestimmen. Damit wird dem Projektor eine Funktion übertragen, die normalerweise von einer
Kamera übernommen wird. Die Kalibrierung des Projektors ist im allgemeinen schwieriger
durchzuführen als eine Kamerakalibrierung. Des weiteren sind die Verzeichnungsparameter meist
größer und lassen sich nicht so exakt bestimmen wie bei einer Matrixkamera. Dies kann eine größere
Unsicherheit bei der Berechnung der Raumkoordinaten verursachen.
Ein weiteres Problem ergibt sich daraus, daß der Grauwertverlauf der Streifen oft nicht ideal
sinusförmig ist. Diese Abweichungen können direkt das Meßergebnis verfälschen und führen damit
zu einer geringeren Meßgenauigkeit.
Bei photogrammetrischen Verfahren basiert die Berechnung der Koordinaten der Objektoberfläche
auf den von mindestens zwei Kameras erzeugten Bildern der Objektoberfläche.
Ein Vorteil der Photogrammetrie ist die hohe Meßgenauigkeit. Kritisch wird die Vermessung jedoch
im Bereich starker Krümmungen oder bei Unstetigkeiten der Objektoberfläche, weil die
Lagebestimmung korrespondierender Bildpunkte üblicherweise über eine Ähnlichkeitsanalyse der
Grauwertverläufe in zwei Kamerabildern innerhalb einer definierten Meßfläche mit einer Größe von
einigen Pixeln (z. B. 15 × 15) erfolgt. Als Maß für die Ähnlichkeit wird üblicherweise das Maximum
der Korrelationsfunktion oder das Minimum der Summe der Fehlerquadrate dieser beiden
Grauwertverläufe verwendet.
Die Meßgenauigkeit dieses Verfahrens ist daher stark von der Größe der Meßfläche abhängig.
Kritische Oberflächen, d. h. Oberflächen mit starken Krümmungen oder Unstetigkeiten verursachen
daher systematische Meßfehler. Um diesen Nachteil abzuschwächen, könnte die Größe der
Meßfläche verkleinert werden. Damit würde jedoch die für die Ähnlichkeitsanalyse der
Grauwertverläufe verwendete Pixelanzahl und damit die Genauigkeit der mittels Ähnlichkeitsanalyse
bestimmten Lage der korrespondierenden Punkten reduziert. Insofern erscheint dieser Lösungsansatz
nur bedingt geeignet.
Der Erfindung liegt daher folgende Aufgabe zugrunde: Bei einem Verfahren zur dreidimensionalen
optischen Vermessung von Objektoberflächen, bei dem Muster auf die Objektoberfläche projiziert
und die Objektkoordinaten unter Anwendung einer Ähnlichkeitsanalyse der Grauwertverläufe in den
von mindestens zwei Matrixkameras aufgenommenen Bildern der Objektoberfläche bestimmt
werden, soll der Meßfehler bei kritischen Oberflächen durch eine Verkleinerung der die Größe der
Meßfläche bestimmenden Pixelanzahl wesentlich verringert werden. Zugleich soll jedoch erreicht
werden, daß eine Abnahme der Genauigkeit der Ähnlichkeitsanalyse der Grauwertverläufe, die
wegen der nunmehr in die Auswertung eingehenden kleineren Pixelanzahl unvermeidlich erscheint, in
vorgebbaren Grenzen gehalten oder nahezu vollständig vermieden wird. In Zusammenhang mit
diesen Maßnahmen zur Reduzierung des Meßfehlers soll zugleich erreicht werden, daß auf eine
Kalibrierung des Musterprojektors verzichtet werden kann.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren gemäß dem Kennzeichen des 1.
Anspruchs gelöst.
Die Funktionsweise des erfindungsgemäßen Meßverfahrens, das mit einem Meßaufbau realisiert
wird, der aus mindestens zwei Matrixkameras und einem Musterprojektor sowie dem zu
vermessenden Körper besteht, läßt sich wie folgt charakterisieren.
In vorgebbaren Zeitabständen wird n-mal nacheinander auf die Oberfläche des zu vermessenden
Körpers ein Muster derart projiziert, daß auf der Körperoberfläche temporär N unterschiedliche
Intensitätsverteilungen erzeugt werden. Jedem Punkt des zu vermessenden Oberflächenbereiches läßt
sich daher eine Folge von N temporären Intensitätswerten zuordnen. Die Musterstruktur und die Art
und Weise der Projektion soll zweckmäßigerweise der Bedingung genügen, daß in jedem Punkt der
zu vermessenden Körperoberfläche möglichst hohe Gradienten in der Folge der N Intensitätswerte
auftreten.
Jede der so erzeugten temporären Intensitätsverteilungen wird mit mindestens k 2 Matrixkameras
erfaßt. Für jede Matrixkamera werden dann pixelweise die Grauwerte in den so erzeugten N Bildern
bestimmt. Für jeden Pixel jeder Matrixkamera wird daher eine aus N Elementen bestehende
Grauwertfolge erhalten. Jede so ermittelte Grauwertfolge kann als eine im Zeitbereich erzeugte
Grauwertfolge aufgefaßt werden, da sie aus der Folge von N temporären Intensitätswerten an dem
Punkt des zu vermessenden Oberflächenbereiches resultiert, der in den betreffenden Pixel abgebildet
wird.
Nach Erhalt der Grauwertfolgen wird die Bestimmung einer 3D-Koordinate mit der Festlegung eines
Pixels P1 oder einer aus einigen benachbarten Pixeln bestehenden Pixelmenge auf dem Sensor einer
1. Matrixkamera und der Zuordnung der nach dem oben beschriebenen Verfahren im Zeitbereich
erzeugte Grauwertfolgen zu diesen Pixeln fortgesetzt.
Die zum Pixel P1 bzw. zur Pixelmenge korrespondierenden Punkte auf den Sensoren der anderen
Matrixkameras werden bestimmt, indem die Ähnlichkeit der den Pixeln in den Bildern der k
Matrixkameras zugeordneten Grauwertfolgen mit an sich bekannten Methoden, z. B.
Korrelationsverfahren, Fehlersummenverfahren u. a., ermittelt wird.
Durch Verwendung des Kreuzkorrelationskoeffizienten als eines der möglichen Ähnlichkeitskriterien
können die zum Pixel P1 bzw. zur Pixelmenge Pm korrespondierenden Punkt auf den Sensoren der
anderen Matrixkameras mit Subpixelgenauigkeit gefunden werden.
Die Suche nach den korrespondierenden Punkt kann auf die Epipolarlinie unter Berücksichtigung der
Verzeichnung beschränkt werden. Ausgangspunkt der Messung ist ein näherungsweise
korrespondierender Punkt auf der Epipolarlinie bzw. bei Verwendung einer Pixelmenge eine
näherungsweise korrespondierende Punktmenge. Der näherungsweise korrespondierende Punkt bzw.
die Punktmenge ist maximal wenige Pixel vom exakten Ort des korrespondierenden Punktes bzw.
der Punktmenge entfernt. Den näherungsweise korrespondierenden Punkten bzw. Punktmengen
können ebenfalls Grauwertfolgen zugeordnet werden. Anschließend wird der Korrelationskoeffizient
zwischen den Grauwertfolgen berechnet werden, die dem Pixel P1 bzw. der Pixelmenge Pm der 1.
Matrixkamera und den näherungsweise korrespondierenden Punkten bzw. Punktmengen der anderen
Matrixkamera zugeordnet sind.
Eine Verschiebung der näherungsweise korrespondierenden Punkte auf der Epipolarlinie der
Matrixkameras bewirkt eine Veränderung des Korrelationskoeffizienten zwischen den
Grauwertfolgen. Hierdurch ist es möglich, den Anstieg der Korrelationsfunktion zu bestimmen. Aus
der Kenntnis dieses Anstieges können Punkte berechnet werden, die näher an dem gesuchten
korrespondierenden Punkt bzw. der gesuchten korrespondierenden Punktmenge liegen. Auf diese
Weise ist es iterativ möglich, den Punkt bzw. die Punktmenge zu finden, wo der
Korrelationskoeffizient zwischen den Grauwertfolgen ein Maximum annimmt. Es kann nun davon
ausgegangen werden, daß dieser Punkt bzw. diese Punktmenge mit hoher Genauigkeit mit dem
gesuchten korrespondierenden Punkt bzw. der gesuchten korrespondierenden Punktmenge
übereinstimmt.
Nachdem diese Prozedur für weitere Pixel auf dem Sensor der 1. Matrixkamera wiederholt ist,
werden die Raumkoordinaten von Punkten der Objektoberfläche durch Triangulation aus den Orten
der vorgegebenen Pixel bzw. Pixelmengen und der zu ihnen korrespondierenden Punkte bzw.
Punktmengen auf den anderen Kamerasensoren bestimmt.
Im Gegensatz zu herkömmlichen Verfahrensweisen in der Photogrammetrie werden bei der
Erfindung N Grauwerte je Pixel verwendet. Dies ermöglicht es, die Anzahl der Pixel und damit die
Meßfläche, für die ein Ähnlichkeitsvergleich der Grauwerte unterschiedlicher Matrixkameras erfolgt,
auf ein Pixel bzw. auf eine geringe Anzahl benachbarter Pixel zu reduzieren, wodurch eine deutliche
Erhöhung der örtlichen Auflösung möglich ist und bei kritischen Oberflächen der Meßfehler
verringert wird. Hierbei ist ein Kompromiß zwischen der Größe der Meßfläche und der Bildanzahl N
zu finden. So könnten z. B. 2 × 2 Pixeln aus den N Bildern die Grauwerte zugewiesen werden, so daß
4n Grauwerte als Grundlage des Ahnlichkeitsvergleichs genutzt werden. Die Bestimmung der
korrespondierenden 2 × 2 Pixel der anderen Kamera erfolgt unter Verwendung der entsprechenden
Epipolarlinien.
Der wesentliche Unterschied zu den bekannten Phasenschiebeverfahren besteht darin, daß aus den
Grauwertfolgen, die den Pixeln zugeordnet werden, keine Phasenwerte berechnet werden, sondern
daß mittels einer Ähnlichkeitsanalyse dieser Grauwertfolgen die Lage korrespondierender Punkte auf
den Kamerasensoren bestimmt wird, aus denen sich durch Triangulation die Raumkoordinaten des
zugeordneten Punktes der Objektoberfläche ergibt.
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens besteht darin, daß die Projektor-Parameter
nicht in die eigentliche Berechnung der 3D-Koordinaten durch Triangulation eingehen. Somit wird
eine aufwendige Kalibrierung des Musterprojektors vermieden.
Vorteilhafte Ausführungsformen der Erfindung und deren Vorteile ergeben sich unmittelbar aus den
Unteransprüchen.
Eine besonders vorteilhafte Ausführungsform der Erfindung betrifft die Ausgestaltung der
projizierten Muster. Als effektiv haben sich Streifenmuster mit einer Orientierung erwiesen, bei
der die Längsrichtung der auf die Sensorebenen der Matrixkameras abgebildeten Streifen annähernd
senkrecht zu den Epipolarlinien verläuft. Dadurch werden günstige Grauwertgradienten und somit
ein hoher Informationsgehalt entlang dieser Linien erhalten. Dies wirkt sich günstig auf die
Genauigkeit der Ortsbestimmung der korrespondierenden Punkte aus.
Die Grauwerte quer zur Linienrichtung sollten möglichst im gesamten zu vermessenden Bereich
Änderungen aufweisen. Hierfür bietet sich z. B. ein möglichst sinusförmiger Grauwertverlauf an.
Die notwendigen N unterschiedlichen Intensitätsverteilungen auf der zu vermessenden
Objektoberfläche können in unterschiedlicher Weise erzeugt werden. Nach einer ersten Variante wird
das Streifenmuster zwischen den Bildaufnahmen jeweils um einen Bruchteil seiner Periode
verschoben. Bei einer weiteren Variante werden die unterschiedlichen Intensitätsverteilungen durch
Projektion von Streifenmustern mit unterschiedlicher Periode oder durch eine Kombination beider
Varianten erzeugt.
Bei einer anderen vorteilhaften Ausführungsform der Erfindung weisen die projizierten Muster eine
stochastische Struktur auf. Die zeitlich aufeinanderfolgenden unterschiedlichen
Intensitätsverteilungen auf der Objektoberfläche werden in diesem Fall durch Translation und/oder
Rotation des projizierten Musters oder durch Änderung der Struktur des Musters erzeugt.
Die erfindungsgemäße Lösung wird einschließlich ihrer Funktionsweise nachstehend anhand eines
Ausführungsbeispieles, das von einem Meßaufbau mit einem Projektor und zwei Matrixkameras
ausgeht, näher erläutert. Mit Rücksicht auf die Übersichtlichkeit wird auf die Darstellung des
erfindungsgemäßen Verfahrens für Pixel- bzw. Punktmengen sowie mehr als zwei Matrixkamera
verzichtet. Es wird daher nur der Sonderfall betrachtet, bei dem jeweils zu einem einzelnen
vorgegebenen Punkt auf einer 1. Matrixkamera der korrespondierende Punkt auf einer 2.
Matrixkamera ermittelt wird. In der zugehörigen Zeichnung zeigen:
Fig. 1 eine schematische Darstellung zur Veranschaulichung der im Zeitbereich erzeugten
Grauwertfolgen und der Bestimmung eines korrespondierenden Punktes,
Fig. 2a eine auf den Sensor der Matrixkamera 1 projizierte helle Linie mit einem ausgewählten Pixel,
Fig. 2b eine auf den Sensor der Matrixkamera 2 projizierte helle Linie mit Epipolarlinie und
näherungsweise korrespondierendem Punkt zu einem ausgewählten Pixel des Sensors der
Matrixkamera 1,
Fig. 3a ein Schema zur Lagebestimmung neuer Meßpunkte auf der Epipolarlinie der Matrixkamera,
Fig. 3b ein Schema zur Lagebestimmung neuer näherungsweise korrespondierender Punkte auf der
Epipolarlinie der Matrixkamera 2.
Im oberen Teil der Fig. 1 sind N Ebenen perspektivisch dargestellt, die N Bilder mit N
unterschiedlichen Intensitätsverteilungen veranschaulichen sollen, die in vorgebbaren Zeitabständen
auf den Sensoren der Matrixkamera 1 und 2 erzeugt werden.
In den der Matrixkamera 1 zugeordneten Ebenen ist weiterhin ein willkürlich ausgewählter
Sensorpunkt eingetragen. Der lagemäßig diesem Punkt entsprechende Sensorpunkt der
Matrixkamera 2 (korrespondierender Punkt) und die Epipolarlinie für die Matrixkamera 2, die
bezüglich des auf der Kamera 1 ausgewählten Sensorpunktes definiert ist, sind in den der
Matrixkamera 2 zugeordneten Ebenen im rechten oberen Teil der Fig. 1 dargestellt.
Im unteren Teil der Fig. 1 sind die Werte der für die genannten Punkte ermittelten Grauwerte über
die Zeit aufgetragen, um die für jede Matrixkamera getrennt einem Punkt zuzuordnende
Grauwertfolge zu veranschaulichen.
Näherungsweise korrespondierende Punkte als Startwerte der Messungen können mit verschiedenen
Varianten ermittelt werden. So kann z. B. ein weiteres Bildpaar aufgenommen werden, bei dem gem.
Fig. 2a auf das Meßobjekt lediglich eine helle Linie projiziert wird.
Aus Gründen der besseren Meßgenauigkeit sollte die Abbildungen dieser Linie auf die
Kamerasensoren etwa senkrecht zu den Epipolarlinien verlaufen, wie in Fig. 2b erkennbar ist.
Ausgehend von dieser hellen Linie können unter Verwendung von Epipolarlinien sehr einfach
näherungsweise korrespondierende Punktepaare bestimmt werden:
Zunächst wird eines der Pixel der Matrixkamera 1 ausgewählt (P1 in Fig. 2a), auf denen die Linie
abgebildet wird. Für das Pixel P1 kann nun in an sich bekannter Weise die Epipolarlinie auf dem
Sensor der Matrixkamera 2 berechnet werden. Diese Linie wird punktweise abgetastet, wobei der
Abstand zwischen den Abtastpunkten etwa ein Pixel betragen sollte. Der Punkt mit dem hellsten
Grauwert ist ein näherungsweise korrespondierender Punkt P2 (Näherung) (Fig. 2b) zu dem
ausgewählten Pixel P1 der Matrixkamera 1.
Ausgehend von diesem näherungsweise korrespondierenden Punkt P2 (Näherung) erfolgt die
Bestimmung besserer Näherungswerte für den zu P1 korrespondierenden Punkt entsprechend dem
erfindungsgemäßen Verfahren. Ein derart ermitteltes exakt korrespondierendes Punktepaar kann nun
dazu verwendet werden, ein neues näherungsweise korrespondierendes Punktepaar P1neu und
P2neu auf der für Kamera 1 und Kamera 2 definierten Epipolarlinie (Fig. 3a und Fig. 3b) zu
berechnen: Der Abstand zwischen dem Punkt P1alt und P1neu auf der Epipolarlinie 1 ist ein
festgelegter Betrag x (Fig. 3a), der aus der gewünschten Meßpunktdichte resultiert, die z. B. ein bis
wenige Pixel beträgt. Aus diesem Betrag x wird der Abstand zwischen neuem und altem Punkt (P2alt
und P2neu) auf der Epipolarlinie 2 (Fig. 3b) durch Multiplikation mit einem Streckungs-Faktor k
berechnet. Die Verwendung eines solchen Faktors ist notwendig, da die Streifen unterschiedlich
dicht in beiden Kameras abgebildet werden können.
Zur Berechnung des Faktors k werden zunächst zu beiden Seiten des Punktes P1alt auf der
Epipolarlinie 1 weitere Punkte mit gleichmäßigen Abständen (etwa ein Pixel) festgelegt, denen aus
einem der aufgenommenen Bilder der Matrixkamera 1 die Grauwerte zugeordnet werden. Auf der
Epipolarlinie 2 werden in analoger Weise Punkte festgelegt sowie die Grauwerte aus dem passenden
Bild der Matrixkamera 2 bestimmt. Das für diese Berechnungen ausgewählte Bildpaar kann ein
beliebiges der Bildsequenz sein, jedoch nicht das mit dem einzelnen hellen Streifen.
Eine Variation bzw. Streckung der Abstände zwischen den Punkten der Kamera 2 verursacht eine
Änderung des Korrelationskoeffizienten zwischen den entsprechenden Grauwerten der beiden
Kameras. Mit Hilfe eines Gradientenanstiegsverfahrens ist es möglich, den gesuchten
Streckungsfaktor k zu ermitteln, der eine maximale Korrelation der Grauwerte bewirkt. Dieser
Faktor k wird verwendet zur Berechnung des Abstandes zwischen altem und neuem Punkt (P2alt
und P2neu) der Matrixkamera 2 aus dem festgelegten Abstand x der Matrixkamera 1.
Claims (7)
1. Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen, bei dem Muster
auf die Objektoberfläche projiziert und die Objektkoordinaten unter Anwendung einer
Ähnlichkeitsanalyse der Grauwertverläufe in den von mindestens zwei Matrixkameras
aufgenommenen Bildern der Objektoberfläche bestimmt werden, dadurch gekennzeichnet, daß
- a) jede der Matrixkameras in an sich bekannter Weise einen Satz von N zeitlich aufeinanderfolgenden Bildern erzeugt, wobei zwischen den Bildaufnahmen das projizierte Muster um vorgegebene Werte verschoben und/oder gedreht und/oder die Struktur des Musters verändert wird,
- b) mindestens ein Pixel bzw. ein Punkt im Subpixelbereich einer 1. Matrixkamera ausgewählt wird, für diese Pixel- bzw. Punktmenge die Grauwerte in den N Bildern dieser Matrixkamera ausgelesen bzw. durch Subpixelinterpolation bestimmt und diese im Zeitbereich definierten Grauwertfolgen dieser Pixel- bzw. Punktmenge zugewiesen werden,
- c) zu der ausgewählten Pixel- bzw. Punktmenge der 1. Matrixkamera in an sich bekannter Weise die Epipolarlinien auf mindestens einer weiteren Matrixkamera ermittelt werden,
- d) auf mindestens einer der im vorhergehenden Schritt bestimmten Epipolarlinien in an sich bekannter Weise eine 1. näherungsweise korrespondierende Punktmenge bestimmt wird,
- e) mindestens eine weitere Punktmenge mit gleicher Anzahl von Punkten auf der bzw. den Epipolarlinien in der Nähe der aus dem Schritt d) resultierenden Punktmenge bestimmt wird,
- f) den aus den Schritten d) und e) resultierenden Punktmengen die durch Subpixelinterpolation aus bis zu N Bildern bestimmten Grauwertfolgen zugewiesen werden und die Ähnlichkeitsmaße zwischen den so bestimmten Mengen von Grauwertfolgen und der aus dem Schritt b) resultierenden Menge von Grauwertfolgen bestimmt werden,
- g) sofern das vorgegebene Abbruchkriterium erreicht ist, mit Schritt h) fortgefahren wird und sofern das vorgegebene Abbruchkriterium nicht erreicht ist, solange die zuletzt bestimmten Ähnlichkeitsmaße für die Bestimmung neuer näherungsweise korrespondierender Punktmengen benutzt werden und dann wieder die Ähnlichkeitsmaße zwischen den Mengen von Grauwertfolgen, die den neuen näherungsweise korrespondierenden Punktmengen zugeordnet sind, und der aus dem Schritt b) resultierenden Menge von Grauwertfolgen bestimmt werden bis das vorgegebene Abbruchkriterium erreicht ist,
- h) die gesuchten Raumkoordinaten in an sich bekannter Weise aus den korrespondierenden Punktmengen der Matrixkameras berechnet werden,
- i) die Schritte b) bis h) solange wiederholt werden, bis für eine vorgegebene Anzahl von ausgewählten Pixeln bzw. Punkten im Subpixelbereich der 1. Matrixkamera 3D-Koordinaten der Oberfläche vorliegen.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Orte mindestens zweier
näherungsweise korrespondierender Punktmengen um den Betrag der bekannten Verzeichnung
korrigiert werden, bevor den lagekorrigierten Punkten die durch Subpixelinterpolation aus bis zu
N Bildern bestimmten Grauwertfolgen zugewiesen werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die projizierten Muster eine
periodische streifenförmige Struktur aufweisen, die etwa senkrecht zu den Epipolarlinien verläuft,
und sich die zeitlich aufeinanderfolgenden Muster dadurch unterscheiden, daß die Streifen jeweils um
einen Bruchteil ihrer Periode verschoben werden.
4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die projizierten Muster eine
stochastische Struktur aufweisen und sich die zeitlich aufeinanderfolgenden Muster dadurch
unterscheiden, daß sie um einen vorgegebenen Betrag verschoben oder verdreht werden.
5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die projizierten Muster eine
stochastische Struktur aufweisen und sich die zeitlich aufeinanderfolgenden Muster dadurch
unterscheiden, daß sie eine voneinander unterschiedliche Struktur aufweisen.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß nach
Erzeugung eines Satzes von N zeitlich aufeinanderfolgenden Bildern mehrere benachbarte Pixel bzw.
Punkte im Subpixelbereich mit ungefähr Pixelabstand auf einer 1. Matrixkamera ausgewählt werden,
für diese Pixel- bzw. Punktmenge die Grauwerte in den N Bildern dieser Matrixkamera ausgelesen
bzw. durch Subpixelinterpolation bestimmt und diese im Zeitbereich definierten Grauwertfolgen
dieser Pixel- bzw. Punktmenge zugewiesen werden und der weitere Verfahrensablauf nach
Bestimmung einer entsprechenden Anzahl korrespondierender benachbarter Punkte mindestens einer
weiteren Matrixkamera analog zu dem für den Fall der Auswahl eines Pixels auf einer 1.
Matrixkamera geltenden Ablauf fortgesetzt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß eine Menge von K × M Pixeln bzw.
Punkten im Subpixelbereich verwendet werden, wobei k und m ganze Zahlen im Bereich von
0 bis 7 sind, deren Wert unabhängig voneinander in der Weise vorgebbar ist, daß K und M nicht
gleichzeitig den Wert 0 annehmen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19623172A DE19623172C1 (de) | 1996-06-10 | 1996-06-10 | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19623172A DE19623172C1 (de) | 1996-06-10 | 1996-06-10 | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19623172C1 true DE19623172C1 (de) | 1997-10-23 |
Family
ID=7796566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19623172A Expired - Lifetime DE19623172C1 (de) | 1996-06-10 | 1996-06-10 | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19623172C1 (de) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1065628A1 (de) * | 1999-06-21 | 2001-01-03 | Institut für Neurosimulation und Bildtechnologien GmbH | Optische 3-D Messung mit mehreren Näherungspunkten |
DE10021431A1 (de) * | 2000-05-03 | 2001-11-22 | Inst Neurosimulation Und Bildt | Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen |
DE10057928C1 (de) * | 2000-11-22 | 2002-02-21 | Inb Vision Ag | Verfahren zur Erkennung von Abweichungen der Oberflächenform von einer vorgegebenen Form |
EP1219921A2 (de) * | 2000-12-28 | 2002-07-03 | INB Vision AG | Verfahren zur Bestimmung der Abweichung des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von der Sollposition |
DE10065121A1 (de) * | 2000-12-28 | 2002-07-11 | Inb Vision Ag | Verfahren zur Verbesserung der Genauigkeit von optischen 3D-Messverfahren |
WO2002059544A1 (fr) * | 2001-01-26 | 2002-08-01 | Esic Sn | Dispositif de mesure par projection optique |
WO2005080916A1 (de) * | 2004-02-24 | 2005-09-01 | Siemens Aktiengesellschaft | Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts |
DE102005045907A1 (de) * | 2005-09-26 | 2007-04-05 | Siemens Ag | Vorrichtung zur Darstellung eines einen Fluoreszenzfarbstoff enthaltenden Gewebes |
US7471809B2 (en) | 2003-01-31 | 2008-12-30 | Seiko Epson Corporation | Method, apparatus, and program for processing stereo image |
DE102009040981A1 (de) | 2009-09-10 | 2011-03-17 | Friedrich-Schiller-Universität Jena | Verfahren zur dreidimensionalen Rekonstruktion von Objekten |
DE102011078052A1 (de) * | 2010-06-25 | 2011-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Erfassung der Oberflächenstruktur einer Objekt-Oberfläche |
DE102011010265A1 (de) | 2011-02-01 | 2012-08-02 | Friedrich-Schiller-Universität Jena | Verfahren zur dreidimensionalen Rekonstruktion von Objekten unter Verwendung von Streifenprojektionsmustern |
DE102011101476A1 (de) | 2011-05-11 | 2012-11-15 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Messung von Objekten |
DE102011121696A1 (de) | 2011-12-16 | 2013-06-20 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Messung von tiefenlimitierten Objekten |
DE102012001307A1 (de) | 2012-01-19 | 2013-07-25 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur 3D-Messung von Objekten, insbesondere unter hinderlichen Lichtverhältnissen |
DE102012002161A1 (de) | 2012-01-31 | 2013-08-01 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur 3D-Messung von Objekten |
DE102012014330A1 (de) * | 2012-07-20 | 2014-01-23 | API - Automotive Process Institute GmbH | Verfahren und Vorrichtung zur 3D-Vermessung |
DE102005044912B4 (de) * | 2005-09-16 | 2014-07-24 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur dreidimensionalen optischen Vermessung von spiegelnden Oberflächen |
DE102015001365A1 (de) | 2015-02-03 | 2016-08-04 | EnShape GmbH | Verfahren zur 3d-vermessung von flüssigkeiten und gelen |
CN109102524A (zh) * | 2018-07-17 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像特征点的跟踪方法和跟踪装置 |
DE102017007189A1 (de) | 2017-07-27 | 2019-01-31 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Vermessung von Objekten durch kohärente Beleuchtung |
CN114049310A (zh) * | 2021-10-26 | 2022-02-15 | 西北工业大学 | 一种磁悬浮轴承转子与其保护轴承相对位置图像分析方法 |
DE102021001366A1 (de) | 2021-03-11 | 2022-09-15 | Friedrich-Schiller-Universität Jena Körperschaft des öffentlichen Rechts | Verfahren zur 3D-Messung von Oberflächen |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4842411A (en) * | 1986-02-06 | 1989-06-27 | Vectron, Inc. | Method of automatically measuring the shape of a continuous surface |
DE19525561A1 (de) * | 1994-07-13 | 1996-01-25 | Murata Machinery Ltd | 3D-Meßvorrichtung |
-
1996
- 1996-06-10 DE DE19623172A patent/DE19623172C1/de not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4842411A (en) * | 1986-02-06 | 1989-06-27 | Vectron, Inc. | Method of automatically measuring the shape of a continuous surface |
DE19525561A1 (de) * | 1994-07-13 | 1996-01-25 | Murata Machinery Ltd | 3D-Meßvorrichtung |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19928341C2 (de) * | 1999-06-21 | 2002-06-20 | Inb Vision Ag | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
EP1065628A1 (de) * | 1999-06-21 | 2001-01-03 | Institut für Neurosimulation und Bildtechnologien GmbH | Optische 3-D Messung mit mehreren Näherungspunkten |
DE10021431C2 (de) * | 2000-05-03 | 2002-08-22 | Inst Neurosimulation Und Bildt | Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen |
DE10021431A1 (de) * | 2000-05-03 | 2001-11-22 | Inst Neurosimulation Und Bildt | Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen |
DE10057928C1 (de) * | 2000-11-22 | 2002-02-21 | Inb Vision Ag | Verfahren zur Erkennung von Abweichungen der Oberflächenform von einer vorgegebenen Form |
US7149337B2 (en) | 2000-11-22 | 2006-12-12 | Inb Vision Ag | Method of detecting flaws in the structure of a surface |
EP1219921A2 (de) * | 2000-12-28 | 2002-07-03 | INB Vision AG | Verfahren zur Bestimmung der Abweichung des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von der Sollposition |
EP1219921A3 (de) * | 2000-12-28 | 2006-04-26 | INB Vision AG | Verfahren zur Bestimmung der Abweichung des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von der Sollposition |
DE10065121A1 (de) * | 2000-12-28 | 2002-07-11 | Inb Vision Ag | Verfahren zur Verbesserung der Genauigkeit von optischen 3D-Messverfahren |
FR2820198A1 (fr) * | 2001-01-26 | 2002-08-02 | Esic Sn | Dispositif de mesure par projection optique |
WO2002059544A1 (fr) * | 2001-01-26 | 2002-08-01 | Esic Sn | Dispositif de mesure par projection optique |
US7471809B2 (en) | 2003-01-31 | 2008-12-30 | Seiko Epson Corporation | Method, apparatus, and program for processing stereo image |
WO2005080916A1 (de) * | 2004-02-24 | 2005-09-01 | Siemens Aktiengesellschaft | Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts |
DE102005044912B4 (de) * | 2005-09-16 | 2014-07-24 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur dreidimensionalen optischen Vermessung von spiegelnden Oberflächen |
DE102005045907A1 (de) * | 2005-09-26 | 2007-04-05 | Siemens Ag | Vorrichtung zur Darstellung eines einen Fluoreszenzfarbstoff enthaltenden Gewebes |
US7925331B2 (en) | 2005-09-26 | 2011-04-12 | Siemens Aktiengesellschaft | Apparatus for displaying a tissue containing a fluorescent dye |
DE102005045907B4 (de) * | 2005-09-26 | 2014-05-22 | Siemens Aktiengesellschaft | Vorrichtung zur Darstellung eines einen Fluoreszenzfarbstoff enthaltenden Gewebes |
DE102009040981A1 (de) | 2009-09-10 | 2011-03-17 | Friedrich-Schiller-Universität Jena | Verfahren zur dreidimensionalen Rekonstruktion von Objekten |
DE102011078052A1 (de) * | 2010-06-25 | 2011-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Erfassung der Oberflächenstruktur einer Objekt-Oberfläche |
DE102011078052B4 (de) * | 2010-06-25 | 2014-07-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Erfassung der Oberflächenstruktur einer Objekt-Oberfläche |
DE102011010265A1 (de) | 2011-02-01 | 2012-08-02 | Friedrich-Schiller-Universität Jena | Verfahren zur dreidimensionalen Rekonstruktion von Objekten unter Verwendung von Streifenprojektionsmustern |
WO2012152261A1 (de) | 2011-05-11 | 2012-11-15 | Friedrich-Schiller-Universität Jena | Verfahren zur 3d-messung von objekten |
DE102011101476B4 (de) | 2011-05-11 | 2023-05-25 | Cognex Ireland Ltd. | Verfahren zur 3D-Messung von Objekten |
DE102011101476A1 (de) | 2011-05-11 | 2012-11-15 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Messung von Objekten |
DE102011121696A1 (de) | 2011-12-16 | 2013-06-20 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Messung von tiefenlimitierten Objekten |
WO2013087065A1 (de) | 2011-12-16 | 2013-06-20 | Friedrich-Schiller-Universität Jena | Verfahren zur 3d-messung von tiefenlimitierten objekten |
DE102012001307A1 (de) | 2012-01-19 | 2013-07-25 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur 3D-Messung von Objekten, insbesondere unter hinderlichen Lichtverhältnissen |
DE102012002161A1 (de) | 2012-01-31 | 2013-08-01 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur 3D-Messung von Objekten |
DE102012014330A1 (de) * | 2012-07-20 | 2014-01-23 | API - Automotive Process Institute GmbH | Verfahren und Vorrichtung zur 3D-Vermessung |
DE102015001365A1 (de) | 2015-02-03 | 2016-08-04 | EnShape GmbH | Verfahren zur 3d-vermessung von flüssigkeiten und gelen |
DE102017007189A1 (de) | 2017-07-27 | 2019-01-31 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Vermessung von Objekten durch kohärente Beleuchtung |
CN109102524A (zh) * | 2018-07-17 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像特征点的跟踪方法和跟踪装置 |
DE102021001366A1 (de) | 2021-03-11 | 2022-09-15 | Friedrich-Schiller-Universität Jena Körperschaft des öffentlichen Rechts | Verfahren zur 3D-Messung von Oberflächen |
CN114049310A (zh) * | 2021-10-26 | 2022-02-15 | 西北工业大学 | 一种磁悬浮轴承转子与其保护轴承相对位置图像分析方法 |
CN114049310B (zh) * | 2021-10-26 | 2024-03-08 | 西北工业大学 | 一种磁悬浮轴承转子与其保护轴承相对位置图像分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19623172C1 (de) | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen | |
DE19928341C2 (de) | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen | |
EP2002203B1 (de) | Verfahren und system zur formmessung einer spiegelnden oberfläche | |
DE102009046295B4 (de) | Optische Abweichungskorrektur für maschinelle Sichtinspektionssysteme | |
DE10219054B4 (de) | Verfahren und Vorrichtung zur Bestimmung der räumlichen Koordinaten eines Gegenstandes | |
EP0897524B1 (de) | Vorrichtung zum berührungsfreien vermessen einer dreidimensionalen objektoberfläche | |
DE10020893B4 (de) | Verfahren zur optischen Formerfassung von Gegenständen | |
DE102006055758B4 (de) | Verfahren zur Kalibrierung von Kameras und Projektoren | |
DE102015205738A1 (de) | Bewegungsmesssystem einer Maschine und Verfahren zum Betreiben des Bewegungsmesssystems | |
EP0923705B1 (de) | Verfahren und vorrichtung zur bestimmung der räumlichen koordinaten von gegenständen | |
WO2017220598A1 (de) | Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung | |
EP3775767B1 (de) | Verfahren und system zur vermessung eines objekts mittels stereoskopie | |
DE102007025304B4 (de) | Verfahren zur Verbesserung der Reproduzierbarkeit einer Koordinaten-Messmaschine und deren Genauigkeit | |
DE19953063A1 (de) | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen | |
DE4125688C2 (de) | Abstandserfassungseinrichtung | |
WO2016202562A1 (de) | Streifenprojetionsverfahren, streifenprojektionsvorrichtung und computerprogrammprodukt | |
DE102019208474A1 (de) | Verfahren und System zum optischen Vermessen eines Objekts mit spiegelnder und/oder teilspiegelnder Oberfläche sowie entsprechende Messanordnung | |
DE102011000088A1 (de) | Verfahren zur Ermittlung eines Verfahrweges bei der Messung von Strukturen eines Objekts | |
DE102020113454A1 (de) | Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes | |
DE102010029627B4 (de) | Vorrichtung und Verfahren zur Bestimmung der Struktur einer spiegelnden Oberfläche eines Objekts | |
DE10310849B4 (de) | Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung | |
EP3798570B1 (de) | Verfahren zur kalibrierung eines optischen messsystems, optisches messsystem und kalibrierobjekt für ein optisches messsystem | |
DE4444661A1 (de) | Verfahren zur berührungslosen Messung der Geschwindigkeit | |
DE102021103086A1 (de) | Verfahren zum Betreiben eines Koordinatenmessgeräts | |
AT413886B (de) | Verfahren zur vermessung von längen und flächen auf dreidimensionalen, beliebig gekrümmten oberflächen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of the examined application without publication of unexamined application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: MICHAELIS, BERND, PROF. DR.-ING.HABIL., 39175 BIED |
|
8327 | Change in the person/name/address of the patent owner |
Owner name: INB VISION AG, 39120 MAGDEBURG, DE |
|
R020 | Patent grant now final | ||
8339 | Ceased/non-payment of the annual fee | ||
8370 | Indication of lapse of patent is to be deleted | ||
R074 | Re-establishment allowed |
Effective date: 20110315 |
|
R071 | Expiry of right |