DE4143193A1 - System zur mathematischen erfassung dreidimensionaler oberflaechen - Google Patents

Description

Die Erfindung bezieht sich auf ein System zur mathema­ tischen Erfassung dreidimensionaler Oberflächen.

Unter der mathematischen Erfassung dreidimensionaler Oberflächen versteht man die Darstellung von räumlich variab­ len Oberflächen mit Hilfe mathematischer Gleichungen. Bekannt sind derzeit zwei grundsätzlich unterschiedliche Systeme: einerseits gibt es Systeme, die die Koordinaten einer gewissen Anzahl von Punkten auf der Oberfläche mit Hilfe einer Meßma­ schine ermitteln, die ein Tastorgan besitzt, während auf der anderen Seite auf optischen Prinzipien beruhende Systeme be­ kannt sind.

Die Systeme der ersten Art sind weiter verbreitet und erfassen die Koordinaten verschiedener Punkte auf der Ober­ fläche, woraus dann die Gleichungen der Oberfläche ausgehend von diesen Punkten unter Verwendung geeigneter Berechnungsver­ fahren rekonstruiert werden. Bekannte Systeme, die nach diesem klassischen Verfahren arbeiten, messen eine große Zahl von Punkten, um eine ausreichende Genauigkeit in der nachfolgenden mathematischen Umsetzung zu erzielen. Demgemäß sind sie lang­ sam, wenig genau und den Bedürfnissen nicht ausreichend ange­ paßt. In einem weiter entwickelten System, das in der DE 38 33 715 A1 beschrieben ist, werden die Probleme geringer Geschwin­ digkeit und Genauigkeit dadurch gelöst, daß die Bedienungs­ person nur die wichtigsten Punkte auf der zu messenden Ober­ fläche definiert und dann das System selbst die Erfassung der für die Darstellung des Modells notwendigen Zahl von Meßpunk­ ten mit Hilfe einer iterativen Methode bewirkt, die durch aufeinanderfolgende Näherungen die gewünschte Genauigkeit erreicht und die Abmessungen des Tastorganes kompensiert. Dieses bekannte System bietet eine brillante Lösung der ge­ stellten Aufgabe, aber erfordert einen beträchtlichen Arbeits­ aufwand, wenn Oberflächen großer Abmessungen mathematisch erfaßt werden sollen, da die Anfangsphase, in der die Haupt­ punkte erfaßt werden, von der Bedienungsperson Punkt für Punkt gesteuert werden muß. Außerdem ist diese Lösung nicht anwend­ bar in Fällen, in denen die zu messende Oberfläche die Benut­ zung von Tastorganen nicht erlaubt.

Andererseits messen optische Systeme die Oberfläche unter Verwendung von ortsfesten Fernsehkameras, die die drei­ dimensionale Oberfläche abbilden. Ein bekanntes derartiges System verwendet beispielsweise zwei Kameras in festen Stel­ lungen, die die Oberfläche aus zwei unterschiedlichen Winkeln abbilden. Ein Prozessor rekonstruiert die mathematischen Glei­ chungen auf der Basis dieser beiden Bilder. Diese optischen Systeme sind wenig flexibel, da sie ein beschränktes Aktions­ feld besitzen, eine feste und genaue Positionierung der zu messenden Oberfläche bezüglich der Fernsehkameras erfordern und daher bei Oberflächen großer Abmessungen nicht verwendet werden können oder nicht an Oberflächen mit sehr unterschied­ lichen Abmessungen angepaßt werden können, die eine unter­ schiedliche Lage der Oberfläche in Bezug auf die Fernsehkame­ ras erfordern würden. Andere bekannte optische Systeme ermög­ lichen schließlich nur die Erkennung von vorgegebenen Formen und Figuren und können nicht für die Erfassung von dreidimen­ sionalen Formen verwendet werden, die nicht vorab bekannt sind.

Die Erfindung stellt sich die Aufgabe, ein Meßsystem vorzuschlagen, das die erwähnten Nachteile und Beschränkungen bekannter Systeme überwindet und insbesondere die Erfassung von beliebigen dreidimensionalen Oberflächen ohne jede Be­ schränkung erlaubt, was die Abmessungen und die Lage der zu messenden Oberfläche angeht.

Diese Aufgabe wird durch das im Anspruch 1 gekenn­ zeichnete System gelöst. Bezüglich von Merkmalen bevorzugter Ausführungsformen der Erfindung wird auf die Unteransprüche verwiesen.

Das erfindungsgemäße System beruht damit auf der Kom­ bination einer Fernsehkamera (oder einem anderen optischen Bilderfassungssystem) mit einer Meßmaschine, woraus sich eine völlige Freiheit in der Lage der Fernsehkamera innerhalb des verfügbaren Meßvolumens ergibt. Damit können die Kennwerte der Fernsehkamera an die zu messende Oberfläche einfach durch geeignete Wahl der Lage der Fernsehkamera und, wenn nötig, Einstellung der Optik (Linsensystem) der Fernsehkamera im Hinblick auf die maximal mögliche Genauigkeit optimal angepaßt werden.

Das erfindungsgemäße System wurde mit vier Verarbei­ tungsebenen entwickelt entsprechend zunehmender Komplexität in der Verarbeitung der mit der Fernsehkamera erfaßten Daten und zunehmender Automatisierung des Systems, nämlich:
erste Ebene: zweidimensionale Erfassung der Koordina­ ten der zu messenden dreidimensionalen Oberfläche auf der Basis eines Bildes der Oberfläche selbst, das von der Fernseh­ kamera erzeugt wird, während die dritte Koordinate mit Hilfe eines Tastfingers und einer manuellen Verschiebung der Fern­ sehkamera erfaßt wird;
zweite Ebene: dreidimensionale Erfassung der Koordina­ ten der dreidimensionalen Oberfläche auf der Basis von zwei Bildern der Oberfläche, die von der Fernsehkamera in zwei unterschiedlichen Kamerapositionen aufgenommen worden sind;
dritte Ebene: automatische Erfassung und Zusammenset­ zung der Bilder (automatische Bewegung der Fernsehkamera mit Erkennung des Arbeitsvolumens);
vierte Ebene: Rekonstruktion des Inneren der Oberflä­ che unter Verwendung nur des Kamerasystems.

Insbesondere arbeitet das nachfolgend beschriebene Meßsystem auf der Basis von dreidimensionalen Oberflächen, die mit Trennlinien versehen sind (vorzugsweise dünne Trennli­ nien), welche einen starken Kontrast bezüglich der übrigen zu messenden Oberflächen bilden, wodurch die Oberfläche selbst in eine Vielzahl von Feldern aufgeteilt wird. Insbesondere können diese Linien, die meist schwarz auf weißer Oberfläche oder umgekehrt dargestellt sind, auf die Oberfläche aufgezeichnet sein oder auch von Klebestreifen gebildet werden, die vorher auf die Oberfläche aufgeklebt wurden, oder auch von einem Gitter gebildet werden (von Schatten oder Licht, je nach der Farbe der zu messenden Oberfläche), das auf die Oberfläche projiziert wird. Das System entnimmt also die dreidimensiona­ len Umrisse der Felder durch Ermittlung der durch die Trenn­ linie definierten Mittellinie, identifiziert geschlossene Schleifen für die Definition der die Kanten jedes betrachteten Felds definierenden Kurven, leitet die mathematische Form jedes Felds ab, verbindet ggfs. mehrere benachbarte Felder zu einer einzigen Oberfläche, mißt mit einem Tastfinger üblicher Art die Oberfläche gemäß den Befehlen, die von dem erzielten mathematischen Modell abgeleitet werden können, und überträgt die Zwischen- und Enddaten an externe CAD-Systeme oder an interaktive Grafiksysteme, die in der oben erwähnten Druck­ schrift DE 38 33 715 A1 angesprochen sind. In diesem Fall wird die klassische Messung mit Tastfinger, die in verschiedenen Stufen der Bildverarbeitung je nach den verfügbaren Daten benötigt wird, durch das interaktive Grafiksystem kontrolliert und durchgeführt, wie weiter unten erläutert werden wird. Diese Konfiguration entspricht der oben erwähnten Ebene 2, was jedoch nicht bedeutet, daß die Erfindung darauf beschränkt ist.

Für ein besseres Verständnis der vorliegenden Erfin­ dung wird nun ein bevorzugtes Ausführungsbeispiel, das nicht beschränkend zu verstehen ist, unter Bezugnahme auf die Zeich­ nungen näher erläutert.

Fig. 1 zeigt schematisch die das vorliegende System bildenden Bausteine.

Fig. 2 zeigt ein Blockdiagramm der Haupt-Verarbei­ tungseinheit des Systems aus Fig. 1.

Die Fig. 3 bis 6 zeigen Flußdiagramme, die sich auf die Meßvorgänge des erfindungsgemäßen Systems beziehen.

Die Fig. 7 bis 12 beziehen sich auf die Messung einer dreidimensionalen oder Skulpturenoberfläche.

Fig. 13 zeigt eine Referenzstruktur zur Eichung des Systems.

In Fig. 1 bezeichnet das Bezugszeichen 1 eine Zen­ traleinheit mit Prozessormitteln und üblichen Mitteln zum Verkehr mit einer Bedienungsperson, wie eine Tastatur 2 und einen Bildschirm 3, sowie eine Maus 4, die für die Auswahl von grafischen Bildern und Befehlen auf dem Bildschirm 3 verwend­ bar ist. Die Einheit 1 enthält einen besonderen Bildprozessor, der mit einer Meßmaschine 5 und mit einer Einheit 6 zur Dar­ stellung und zur Verwaltung der Ergebnisse sowie zur Initiali­ sierung des Arbeitsumfelds zusammenwirkt. Vorzugsweise ver­ wendet die Einheit 6 die Bausteine 2 bis 4 der Einheit 1 für den Verkehr mit dem Benutzer.

Im einzelnen ist die Meßmaschine 5 vollkommen bekannt. Sie besitzt einen Meßkopf 8, der durch motorbetriebene Gestel­ le entlang dreier orthogonaler Koordinatenachsen verschiebbar ist und einen Tastfinger oder Stift 7 vom Punkt-zu-Punkt-Typ trägt. An der Meßmaschine ist eine Fernsehkamera 10 üblicher Bauart befestigt, die ein oder mehrere Standardobjektive be­ sitzt. Die Fernsehkamera 10 ist am Kopf 8 der Maschine 5 über ein Befestigungselement 11 montiert, das in reproduzierbarer Weise ausgerichtet werden kann und die Fernsehkamera über dem ganzen Volumen der Meßmaschine verschieben kann. Dadurch wird das System vollständig flexibel bezüglich der Abmessung und der Lage der zu messenden Zonen. Die Meßmaschine 5 definiert einen Arbeitstisch 9, auf dem eine zu messende dreidimensiona­ le Oberfläche (nicht dargestellt) befestigt wird und der durch Beleuchtungsmittel 12 vervollständigt wird, um die zu messende Oberfläche ausreichend zu erleuchten und den Kontrast zwischen den Trennlinien und den Feldern zu vergrößern.

Die Einheit 6, die in dem dargestellten Beispiel vom interaktiven Grafiksystem gebildet wird, das in der oben er­ wähnten Druckschrift beschrieben ist, aber auch durch andere CAD-Systeme ersetzt sein könnte, dient der Erfassung der für die Initialisierung des Systems erforderlichen Information, d. h. bestimmt und liefert die Information betreffend die akti­ ven Instrumente (verschiedene Positionen des Tastfingers), das aktuelle Bezugssystem, die für die Verarbeitung erforderlichen Parameter und die verstellten Ebenen, d. h. das besetzte Volu­ men, jenseits dessen die Fernsehkamera unbehindert bewegt werden kann. Außerdem dient die Einheit 6 zur Steuerung der Bewegung des Tastfingers 7 zur Überprüfung der Ergebnisse, wie nachstehend erläutert wird, sowie für die grafische Darstel­ lung der Ergebnisse sowohl auf dem eigenen Monitor als auch mit Hilfe von Druckern oder Plottern (nicht dargestellt). Die Einheit 6 kann bei Bedarf auch eine Werkzeugmaschine (nicht dargestellt) steuern.

Fig. 2 zeigt ein detailliertes Blockdiagramm der Zentraleinheit 1 und ihrer Verbindungen zur Meßmaschine 5 und der Einheit 6. Wie bekannt, besteht die Einheit 1 aus vier Hauptteilen, nämlich einer Test- und Meßeinheit 15, einem Bildprozessor 16, einem Stereoprozessor 17 und einer Eichein­ heit 18.

Die vier Teile 15 bis 18 tauschen miteinander und mit dem Benutzer über einen "Briefkasten" 19 und über eine Koor­ dinatoreinheit 20 Informationen aus, die die Aktivität der Zentraleinheit 1 koordinieren. Außerdem sind die vier genann­ ten Teile mit einer Vielzahl von Speicherzonen verbunden, nämlich einer allgemeinen Datenzone 21, einer "geteilten" Datenzone 22, die auch für die Einheit 6 gilt, einem Innenpa­ rameterspeicher 23 (d. h. für die Parameter, die sich auf das Linsensystem der Fernsehkamera beziehen, wie etwa die Projek­ tion des optischen Achsenzentrums der Fernsehkamera auf die Bildebene - wo das von der Fernsehkamera aufgenommene Bild herstammt - und die Brennweite), und ein Modusspeicher 24 (einschließlich der äußeren Parameter, die sich auf die Lage der Fernsehkamera in Bezug auf die Meßmaschine beziehen, und der für die Verarbeitung erforderlichen Parameter, die weiter unten aufgelistet werden). Der Speicher 24 kann auch Parameter enthalten, die sich auf die durch die Linsen induzierten Feh­ ler (Verzeichnungen und geometrische Verzerrungen) beziehen und weitere Parameter enthalten, die Fehler im Aufbau der Fernsehkamera berücksichtigen. Der Eingang zur Koordinatorein­ heit ist unidirektional mit der Tastatur 2 und der Maus 4 verbunden, während der Ausgang der Koordinatoreinheit unidi­ rektional mit dem Bildschirm 3 verbunden ist. Vorzugsweise ist der Eingang desselben Bildschirms 3 an den Stereoprozessor 17 und die Einheit 6 angeschlossen, wenngleich aus Gründen der einfacheren und besser lesbaren Darstellung in den Zeichnungen in Fig. 2 zwei Bildschirme 3 dargestellt sind. Schließlich ist der Bildprozessor 16 bidirektional mit einer Aquisitions­ karte 26 verbunden, deren Eingang mit der Fernsehkamera 10 und deren Ausgang mit ihrem eigenen Bildschirm 27 verbunden ist. Diese Aquisitionskarte wandelt die von der Fernsehkamera ge­ lieferten Signale in digitale Form um, speichert sie und ver­ waltet die grafische Darstellung auf dem Bildschirm 27.

Die Test- und Meßeinheit 15 wird von der Bedienungs­ person jedesmal aktiviert, wenn die Fernsehkamera für die Messung einer Oberfläche verwendet werden soll. Diese Einheit liegt zwischen der Bedienungsperson auf der einen Seite und der Meßmaschine 5, dem Bildprozessor 16 und dem Stereoprozes­ sor 17 auf der anderen Seite. Außerdem bewirkt diese Einheit 15 den Test der Lage der Fernsehkamera 10 und das Lesen oder Verändern der Gesamtfunktion des Systems. Insbesondere er­ bringt der Test der Position der Fernsehkamera alle Informa­ tionen, die für die Verwendung der von der Fernsehkamera ge­ lieferten Messungen notwendig sind. Im einzelnen liefert die Einheit 15 die Matrix für Drehung und Verschiebung, die sich auf die Lage der Fernsehkamera auf dem Achsenbezugssystem der Meßmaschine 5 bezieht und ggfs. auf das verwendete Instrument (für die Auswahl der Lage des Tastfingers 7, der für den Meß­ vorgang mit diesem verwendet wird). Diese Information wird unabhängig von Meßprozeß, während dem die für die Messung selbst erforderlichen Daten nur aus dem Speicher 24 ausgelesen werden, abgeleitet und gespeichert. Im Gegenzug erlaubt das Lesen und Verändern der Systemmodalitäten die Speicherung und Veränderung der für die Verarbeitung in den verschiedenen Einheiten des Systems notwendigen Parameter, d. h. die Eich- und Testparameter, die in diesen beiden Phasen verwendet wer­ den, und die Meßparameter, wie weiter unten unter Bezugnahme auf diese Phasen erläutert werden wird.

Für die Durchführung dieser Aufgaben besitzt die Ein­ heit 15 folgende Funktionsblöcke:

• - einen Testblock 57, dessen Eingang unidirektional an den Koordinatorblock 20, an die Meßmaschine 5 und an den Spei­ cher 23 sowie bidirektional an den Speicher 24 sowie den Briefkasten 19 angeschlossen ist. Der Block 57 wird daher vom Koordinatorblock 20 aktiviert, empfängt die für die Positions­ überprüfung der Fernsehkamera (augenblickliche Position) er­ forderlichen Daten von der Meßmaschine 5 und die inneren Para­ meter vom Speicher 23, startet das Verfahren für die Aufnahme von Bildern über den Briefkasten 19, liest die Parameter be­ züglich der Verarbeitung aus dem Speicher 24 und bildet die Drehungs- und Verschiebematrix und ggfs. die Parameter, die die Fehler des Linsensystems und die Fehler des Fernsehkamera- Aufbaus berücksichtigen. Schließlich speichert dieser Block die berechneten Parameter im Speicher 24;
• - einen Änderungsblock 58 zur Veränderung der die Verarbeitung betreffenden Parameter, wobei der Eingang dieses Blocks unidirektional mit dem Koordinatorblock 20 und bidirek­ tional mit dem Speicher 24 verbunden ist. Wenn der Block 58 vom Koordinatorblock 20 aktiviert wurde, sorgt er daher für die Veränderung der für die Bildverarbeitung erforderlichen und im Speicher 24 gespeicherten Parameter;
• - einen Meßblock 59, dessen Eingang unidirektional mit dem Koordinatorblock 20, der Meßmaschine 5 und den Speichern 23 und 24 sowie bidirektional mit dem Briefkasten 19 verbunden ist. Wenn der Block 59 vom Koordinatorblock 20 aktiviert ist, dann aktiviert dieser die Erfassung der Bilder und die zuge­ ordnete hohe oder niedrige Verarbeitungsebene der Prozessoren 16 und 17 und liefert ihnen durch den Briefkasten 19 Befehle und Daten, die für die Verarbeitung notwendig sind, wie z. B. die augenblickliche Position der Maschine, die inneren Parame­ ter und die Modi.

Der Bildprozessor 16, der vom Block 59 oder von der Eicheinheit 18, wie weiter unten erläutert wird, aktiviert wird, wird von allen Diensten der niedrigen Ebene für Zwecke der Bildaufnahme betroffen und enthält eine erste Gruppe von Blöcken 28 bis 30, eine Zone für örtliche Daten 31, eine zwei­ te Gruppe von Blöcken 32 bis 35 und einen Kommunikationsblock 36.

Die erste Gruppe von Blöcken 28 bis 30 ihrerseits hat die Aufgabe, das Bild zu erfassen und zusammen mit Befehlen und die niedrige Prozessorebene betreffenden Parametern an die zweite Gruppe von Blöcken zu übertragen und enthält:

• - einen Verwaltungsblock 28 für die Verwaltung der Bildaquisitionskarte, der bidirektional mit der Karte 26 ver­ bunden ist und dazu dient, die Karte zu initialisieren, den Übergang von der kontinuierlichen Bildaufnahme zum Ende der Bilderfassung zu verwalten, das erfaßte Bild zu lesen und an den Block 30 zu übertragen;
• - einen Kommunikations-Verwaltungsblock 29, der bidi­ rektional mit dem Kommunikationsblock 36 und dem Block 28 sowie unidirektional mit dem Block 30 verbunden ist. Der Block 29 dient dem Verkehr mit dem Block 36 gemäß einem besonderen Protokoll, wenn dieser die Aktivierung der Bildverwendung steuert, und der Benachrichtigung an den Block 36, wenn die Verarbeitung eines Bildes beendet ist. Außerdem dient dieser Block dem Aussenden von Synchronisationssteuersignalen zwi­ schen dem Block 36 und der Fernsehkamera und dem Aussenden von Verarbeitungssteuersignalen und den notwendigen Parametern, die vom Block 36 empfangen wurden, an den Block 31 über den Block 30;
• - einen Prozessor-Verwaltungsblock 30, dessen Eingang unidirektional an den Block 29 und den Block 28 angeschlossen ist und dessen Ausgang mit den Blöcken 31 bis 35 verbunden ist; der Block 30 dient dazu, jedem vom Block 28 empfangenen Bild die zugeordneten Parameter sowie die vom Block 29 empfan­ genen Verarbeitungsbefehle zuzuordnen und sie in die örtliche Datenzone 31 zu transferieren. Schließlich teilt dieser Block den Blöcken 32 bis 35 die Verfügbarkeit der Daten mit.

Die zweite Gruppe von Blöcken dient der Ausführung der Verarbeitung der niederen Ebene selbst. Diese Verarbeitung unterscheidet sich geringfügig je nach dem, ob der Oberflä­ chenbereich, der von der Fernsehkamera erfaßt wird, die zu messende Oberfläche selbst ist oder sich auf ein bekanntes Objekt bezieht (Eichobjekt), dessen Bild zum Eichen des Sy­ stems aufgenommen wird, d. h. zur Messung der inneren Parame­ ter, wie weiter unten erläutert wird.

Insbesondere werden im ersteren Fall die stark kon­ trastierenden Trennlinien zwischen den Feldern als Streifen einer gewissen Dicke gesehen (siehe Fig. 7, die das Bild eines Oberflächenbereichs zeigt, in dem die Felder mit 38 und die Trennlinien oder Streifen, die nicht maßstabsgerecht sind, mit 39 bezeichnet sind. Die Kanten der Streifen weisen also einen steilen Helligkeitsgradienten im Vergleich zu benach­ barten, dem Feld angehörenden Punkten oder zu den Streifen selbst auf, und der Höchstwert des Gradienten verläuft senk­ recht zur Kante oder zum Umriß der Streifen selbst. Weiter besitzen die Paare von Punkten an gegenüberliegenden Kanten jedes Streifens den größten Gradienten in Gegenrichtung mit Spiegelsymmetrie bezüglich der Achse des Streifens selbst. In diesem Fall besteht die Verarbeitung der unteren Ebene in der Bestimmung der Mittelpunkte zwischen Paaren von Punkten eines maximalen Gradienten entgegengesetzten Vorzeichens (siehe Fig. 10, in der die Mittellinien als Kettenlinien dargestellt sind und mit dem Bezugszeichen 40 versehen sind). Diese Mit­ telpunkte werden in Listen oder Ketten von Punkten zusammen­ gefaßt, die zur gleichen Seite der Kante oder des Umrisses jedes Felds gehören.

In dem zweiten Fall und im Rahmen einer bevorzugten Ausführungsform der Erfindung besteht das Eichmuster, das in Fig. 13 dargestellt und mit dem Bezugszeichen 44 versehen ist, aus einer Gruppe von Quadraten 41 und 42, wobei die Kreu­ zungspunkte ihrer Diagonalen in Perspektiven-Transformation invariant bleiben. Zwei dieser Quadrate (mit der Bezugszahl 42 versehen) besitzen größere Abmessungen als die anderen, um die Orientierung des Eichmusters 44 zu erkennen. In diesem Fall besteht die Verarbeitung der niederen Ebene in einer Gruppie­ rung benachbarter Punkte eines maximalen Gradienten in Listen, wobei jede Liste dem Umriß eines Quadrats zugeordnet ist, und in der Erkennung aufgrund dieser Listen, welches die Projek­ tion dieser Quadrate ist, für die Rekonstruktion der Quadrate selbst und die Bestimmung der Schnittpunkte der Diagonalen. Die Richtung der Geraden, auf der die beiden Quadrate 42 lie­ gen, wird auch so bestimmt, daß die Transformation festgelegt wird, die das augenblickliche Bezugssystem (der Meßmaschine) in das dem Eichmuster 44 zugeordnete Bezugssystem überführt.

In beiden Fällen werden die Punkte mit größtem Gra­ dienten zuerst so verarbeitet, daß die echten Koordinaten der Punkte an der Kante eines Streifens 39 oder der Quadrate 41 und 42 mit größerer Genauigkeit als die Auflösung der Fernseh­ kamera bestimmt werden (Genauigkeit größer als ein Bildpunkt).

Für die Durchführung dieser Funktion enthält die zwei­ te Gruppe von Blöcken

• - einen Block 32 für die Entnahme der Kantenpunkte mit erhöhter Genauigkeit, wobei der Ausgang dieses Blocks unidi­ rektional an die Blöcke 33 und 34 zur Lieferung der abgeleite­ ten Koordinaten angeschlossen ist,
• - einen Block 33 zur Entnahme des Skeletts, dessen Ausgang unidirektional mit dem Block 34 zur Lieferung der Koordinaten der Mittellinie 40 verbunden ist. Dieser Block wird wie oben beschrieben abhängig von den Befehlen aktiviert, die mit dem erfaßten Bild zusammenhängen, wenn die Verarbei­ tung eines eine zu messende Oberfläche darstellenden Bilds in der niedrigen Ebene gefordert wird;
• - einen Block 34 zur Verbindung der Kanten, wobei der Ausgang dieses Blocks unidirektional mit dem Block 35 und dem Briefkasten 19 verbunden ist und alternativ die Koordinaten von durch den Block 32 erarbeiteten Punkten oder die Koordina­ ten des im Block 33 ermittelten Mittelpunkts zugeführt erhält. Nach der Gruppierung dieser Punkte in Ketten werden die Listen im Fall von direkt vom Block 32 kommenden verbundenen Punkten (Kantenpunkte eines maximalen Gradienten) an den Block 35 geliefert, während im entgegengesetzten Fall (Mittelpunkte) die Listen an den Briefkasten 19 zur Speicherung in der all­ gemeinen Datenzone 21 und zur anschließenden Verarbeitung geliefert werden;
• - einen Block 35 zur Entnahme bemerkenswerter Punkte, wobei der Ausgang dieses Blocks unidirektional mit dem Brief­ kasten 19 verbunden ist. Der Block 35 versucht die Quadrate ausgehend von den durch die Perspektive verformten Kantenli­ nien zu rekonstruieren, er bestimmt die Schnittpunkte der Diagonalen und die Richtung der Geraden, auf der die beiden Elemente 42 mit größeren Abmessungen liegen, um die Transfor­ mation vom augenblicklichen Bezugssystem auf das dem Eichmu­ ster zugeordnete Bezugssystem zu bestimmen. Die Koordinäten der erhaltenen Punkte und die bestimmte Transformation werden im Briefkasten 19, und zwar in der allgemeinen Datenzone 21, für nachfolgende Verarbeitung abgelegt.

Der Stereoprozessor 17 führt die Bildverarbeitung auf hoher Ebene durch, ausgehend von den vom Bildprozessor 16 verarbeiteten und in der gemeinsamen Datenzone 21 gespeicher­ ten Daten. Insbesondere wird der Stereoprozessor nur im Fall einer Bildverarbeitung einer zu messenden Oberfläche wirksam und nimmt nicht an dem Eichvorgang teil. Für die Bestimmung der dreidimensionalen Koordinaten der zu messenden Oberfläche nimmt man zwei Bilder dieser Oberfläche, die je einer anderen Position der Fernsehkamera zugeordnet sind. Diese beiden Bil­ der werden in zwei unterschiedlichen Kamerapositionen aufge­ nommen, die durch Verschiebung der Kamera entlang ihrer opti­ schen Achse erreicht werden. Jedes Bild, das im Prozessor 16 vorverarbeitet ist, wird dann derart weiterverarbeitet, daß geschlossene Schleifen ausgehend von den vom Prozessor 16 gelieferten Punkteketten rekonstruiert werden und jede Seite der Schleife des einen Bildes der Seite der Schleife des ande­ ren Bilds zugewiesen wird, das durch die gleiche Trennlinie der zu messenden Oberfläche erzeugt worden war, um die dreidi­ mensionalen Koordinaten der Trennlinien zu bestimmen.

Die vom Stereoprozessor 17 empfangenen Punkteketten (nachfolgend auch Umrisse genannt) sind regelmäßig in Form eines Gitters angeordnet, das wegen der Skelettbildung keine Kreuzungspunkte besitzt (siehe Fig. 10). Demgemäß sucht man an jedem Ende eines Umrisses die benachbarten Enden anderer Umrisse innerhalb einer gewissen Suchzone und läßt die Umrisse ohne Nachbarn außer Betracht. Dann werden die Umrisse und ihre Nachbarn bis zu einem gemeinsamen Schnittpunkt verlängert. Diese Operation wird für alle Umrisse wiederholt, worauf eine zweidimensionale Darstellung (Matrix) konstruiert wird, in der die Koordinaten aller verlängerten Umrisse und die Schnitt­ punkte direkt oder indirekt gespeichert werden. Nun sucht man geschlossene Schleifen. Die geschlossenen Schleifen zweier Bilder werden einander zugeordnet, indem man für jeden Punkt eines Bildes gemäß dem Bezug den entsprechenden Punkt auf dem anderen Bild gemäß dem perspektivischen Modell sucht. Dann werden die dreidimensionalen Koordinaten der Punkte der zu messenden Oberfläche entsprechend den einander zugeordneten Punkten der ermittelten geschlossenen Schleifen berechnet, und schließlich werden die mathematischen Gleichungen der Kurven der Kanten der Felder (Seiten der Schleifen) rekonstruiert, beginnend mit den gerade abgeleiteten dreidimensionalen Koor­ dinaten. Am Ende werden die Gleichungen der sich zwischen diesen Kurven erstreckenden Oberflächen abgeleitet, indem bekannte Rechentechniken verwendet werden (z. B. mit Hilfe von Bezier-Funktionen).

Für die Durchführung dieser Funktionen besitzt der Stereoprozessor 17:

• - einen Block 45 zum Suchen der Nachbarschaftsbezie­ hungen, dessen Eingang unidirektional mit dem Speicher 23 und dem Briefkasten 19 verbunden ist,
• - einen Block 46 zur Selektion und Verlängerung der Umrisse, dessen Eingang unidirektional mit dem Block 45 und dessen Ausgang mit dem Bildschirm 3 verbunden ist,
• - einen Block 47 zur Konstruktion des zweidimensiona­ len Bilds, dessen Eingang unidirektional mit dem Block 46 verbunden ist,
• - einen Erkennungsblock 48 zum Erkennen und Zuordnen der geschlossenen Schleifen, dessen Eingang unidirektional mit dem Block 47 und dessen Ausgang mit dem Bildschirm 3 verbunden ist,
• - einen Block 49 zur Berechnung der dreidimensionalen Koordinaten der Punkte der Schleifen und zur Berechnung der dreidimensionalen Kurven der Kanten der Felder, dessen Eingang unidirektional mit dem Block 48 und dessen Ausgang mit dem Bildschirm 3 und der geteilten Datenzone 22 verbunden ist,
• - und einen Block 50 zur Berechnung der dreidimensio­ nalen Oberfläche des Felds, dessen Ausgang unidirektional mit dem Bildschirm und der geteilten Datenzone 22 verbunden ist.

Die Eicheinheit 18 wird aktiviert, wenn die Eichung der inneren Parameter erforderlich ist (nach einem System­ start, bei Wechsel des Linsensystems, bei einer Veränderung der Brennweite usw.). In der Praxis mißt die Einheit 18 die Parameter des Linsensystems, indem mehrere bekannte äußere Punkte mit ihren Projektionen in das Bild bei Veränderung der Position und Ausrichtung des Linsensystems verknüpft werden. Hierzu wird das Eichmuster 44 gemäß Fig. 13 verwendet, das bereits oben beschrieben wurde und zuerst durch manuelle Kon­ trolle der Meßmaschine gemessen wird, um die Lage des festen Trägers des Eichmusters 44 (im allgemeinen eine Plexiglas­ scheibe, die auf dem Bett 9 der Meßmaschine befestigt ist). Dann werden verschiedene Bilder des Eichmusters 44 aus ver­ schiedenen Positionen der Fernsehkamera aufgenommen (vorzugs­ weise durch Verschieben der Fernsehkamera entlang von geraden Linien), und alle so erhaltenen Punkte, die den Schnittpunkten der Diagonalen der Quadrate entsprechen, werden verwendet für die Berechnung einer Matrix von inneren Parametern, die für die Verarbeitung der Bilder der zu messenden Oberfläche erfor­ derlich sind. Demgemäß enthält die Eicheinheit 18:

• - eine Block 52 zur Aktivierung der Eichmessung, des­ sen Eingang unidirektional mit dem Koordinatorblock 20 und bidirektional mit der Meßmaschine 6 verbunden ist,
• - einen Block 53 zur Aktivierung der Bilderfassung, dessen Eingang unidirektional mit dem Block 52 und dem Spei­ cher 24 und bidirektional mit dem Briefkasten 19 zum Empfang der Bildverarbeitungsparameter vom Speicher 24, zum Aussenden von Befehlen und Parametern, die für die Erfassung der Bilder des Eichmusters 44 notwendig sind, und zum Empfang von bekann­ ten Punkten verbunden ist, die von der Bildverarbeitung auf niederer Ebene stammen,
• - einen Block 54 zur Berechnung der inneren Parameter, dessen Eingang unidirektional mit dem Block 53 und dessen Ausgang mit dem Speicher 24 zur Bestimmung und Speicherung der Parameter verbunden ist.

Die Messung der dreidimensionalen Oberfläche mit Hilfe des erfindungsgemäßen Systems wird mit den folgenden Verfah­ rensschritten erreicht, die unter Bezugnahme auf die Flußdia­ gramme in Fig. 3 bis 6 und die Fig. 7 bis 13 nun be­ schrieben werden.

Die Formeln für die Bestimmung der inneren und äußeren Parameter werden im Folgenden nicht im einzelnen dargestellt, ebensowenig wie die Berechnungen für die Perspektiv-Transfor­ mationen. Hierzu wird auf folgende Druckschriften verwiesen: O.D. Faugeras und G. Toscani "The calibration problem for stereo" in Proc. Computer Vision and Pattern Recognition, Seiten 15 bis 20, 1986, Miami Beach, Florida, USA; O.D. Fauge­ ras und G. Toscani "Camera calibration for 3D Computer Vision" in Proc. of Int. Workshop on Machine Vision and Machine Intel­ ligence, Februar 1987, Tokyo, Japan; S. Ganapathy "Decomposi­ tion of transformation matrices for robot vision" Pattern Recognition Letters, 2: 401-412, Dezember 1984; E. Previn und J.A. Webb "Quaternions in computer vision and robotics", Tech­ nical Report CS-82-150, Carnegie-Mellon Universität, 1982; Y.C. Shiu und S. Ahmad "Finding the Mounting Position of a Sensor by Solving a Homogeneous Transform Equation of the Form AX=BX in IEEE Conference on Robotics and Automation, Seiten 1666-1671, Raleygh, North Carolina, USA, April 1987; T.M. Strat "Recovering the Camera Parameters from a Transformation Matrix", Seiten 93-100, Morgan Kaufmann Publishers Inc. 1987; R.Y. Tsai "A Versatile Camera Calibration Technique for High- Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses", IEEE Journal of Robotics and Automation, RA-3(4): 323-344, August 1987; R.Y. Tsai "Synopsis of Recent Progress on Camera Calibration for 3D Machine Vision", in Oussama Khatib, John Craig und Tomás Lozano-Pres (Herausge­ ber), The Robotics Review, Seiten 147-159, The MIT Press, 1989.

Wie in Fig. 3 zu sehen ist, wählt die Bedienungsper­ son ursprünglich über die Tastatur 2 den Operationsmodus (Block 70), mit dem die Berechnungsprozedur oder die Test/Meß­ prozedur begonnen wird oder die Operationen beendet werden (Block 71). Dies entspricht der Aktivierung der Eicheinheit 18, bzw. der Test- und Meßeinheit 15 bzw. dem Ausschalten des Systems durch den Koordinatorblock 20.

Wenn die Eichung beginnt, erfolgt ein Übergang vom Block 70 zum Block 72 zur Aktivierung der Eichmustermessung, die von der Einheit 52 gesteuert wird. In dieser Phase erfolgt zuerst eine Erfassung von Hand durch die Bedienungsperson und dann eine automatische Erfassung einiger Punkte der Kante des Eichmusters 44 durch den Tastfinger 7, um die Lage des Eichmu­ sters selbst bezüglich des Bezugssystems der Meßmaschine 5 zu identifizieren und die Koordinaten von signifikanten Punkten im Bezugssystem zu bestimmen. Vom Block 72 erfolgt dann ein Übergang auf Block 73 zur Aktivierung der Erfassung eines Bilds. In dieser Phase wird die Fernsehkamera 10 von Hand oder automatisch auf das Eichmuster 44 ausgerichtet (vorzugsweise wird zum Erhalt einer größtmöglichen Genauigkeit, die mit der Auflösung der Fernsehkamera und den inneren Grenzen des Sy­ stems kompatibel ist, die Aufnahmeposition so gewählt, daß der Bereich der zu messenden Oberfläche, in diesem Fall des Eich­ musters 44, aus so geringer Entfernung wie möglich betrachtet wird). Danach sendet der Block 53 über den Briefkasten 19 die Steuersignale für die Erfassung eines Bilds, in dem die Para­ meter für die Bestimmung der echten Koordinaten der Kanten spezifiziert werden und indem die Erfassung der signifikanten Punkte des Eichmusters 44 angefordert wird. Nun folgt Block 74 mit der Aufnahme eines Bilds und der Bildverarbeitung auf niederer Ebene gemäß der vorliegenden Spezifikation durch den Bildprozessor 16. Die Ergebnisse dieser Verarbeitung (die im einzelnen anhand von Fig. 4 beschrieben werden) werden dann in der allgemeinen Datenzone 21 gespeichert. Die den Blöcken 73 und 74 entsprechenden Operationsphasen werden vorzugsweise mehrmals wiederholt, so daß man verschiedene Bilder des Eich­ musters 44 erhält und damit verschiedene Erfassungen der sig­ nifikanten Punkte unter unterschiedlichen Winkelpositionen der Fernsehkamera, so daß eine größere Genauigkeit möglich wird. Danach erfolgt ein Übergang zum Block 75 zur Berechnung der inneren Parameter, wobei die signifikanten Punkte, die für jedes Bild bestimmt wurden, den Punkten des Eichmusters mit Hilfe eines Algorithmus kleinsten Quadrats zugeordnet werden. Die Meßergebnisse der so für jedes erfaßte Bild bestimmten inneren Parameter werden gemittelt, so daß es möglich ist, für jede Einstellung der Fernsehkamera die beste Drehung und Ver­ schiebung zu bestimmen. Die so bestimmten Parameter werden im Speicher 23 gespeichert und sind so für die Operationen der Fernsehkameratests und der Messungen einer unbekannten dreidi­ mensionalen Oberfläche verfügbar.

Wenn dagegen die Bedienungsperson die Test- und Meß­ prozedur ansteuert, dann erfolgt ein Übergang vom Block 70 auf Block 77, indem die Aktivierung der Test- und Meßeinheit 15 erfolgt. Insbesondere bezieht sich der Block 77 auf die Wahl des gewünschten Verarbeitungstyps, so daß die Bedienungsperson nacheinander vor die Wahl zwischen dem Test der Kameraeinstel­ lung, der Speicherung oder Veränderung der Bildverarbeitungs­ parameter und der Messung einer Oberfläche gestellt wird.

Wenn die Bedienungsperson die Speicherung oder Ver­ änderung der Parameter ansteuert, dann erfolgt ein Übergang vom Block 77 auf Block 78. Dieser Block bezieht sich auf die Parameterveränderungsschritte, die auf verschiedene Weise alle Komponenten des Systems betreffen und die in zwei Klassen unterteilt werden können, nämlich Eich- und Testparameter sowie Meßparameter.

Die erste Klasse (nämlich die von den Einheiten 15 und 18 verwendeten Parameter) weist Parameter auf, die sich auf das Filter zur Extraktion der Kantenpunkte beziehen (ein­ schließlich der Schwellen für die Operatorabmessungen und die Mindest- und Höchstgradienten), die Parameter für die Verbin­ dung der Kanten (einschließlich des Mindestschwellwerts für die Länge einer Kette), die Parameter für die automatische Abschätzung der Qualität einer Gruppe von Bildern (einschließ­ lich eines Maximalfehlerschwellwerts).

Die zweite Klasse von Parametern, nämlich die Meßpara­ meter, die von den Prozessoren 16 und 17 verwendet werden, umfaßt den Abstand zwischen zwei Bildern, die Parameter des oben erwähnten Kantenextraktionsfilters, die oben erwähnten Parameter betreffend die Verbindung der Kanten, die Skeletti­ sierparameter (einschließlich eines Indikators, der angibt, ob diese Operation erforderlich ist), den größten akzeptierbaren Abstand zwischen zwei parallelen Kanten, um sie in dem Skelett zusammenfließen zu lassen, und die Art des zu skelettisieren­ den Profils (Trennlinien zwischen Feldern), d. h. schwarz auf weißem Untergrund oder umgekehrt, die Parameter für die Steue­ rung des Stereoprozessors (bezüglich der grafischen Darstel­ lung auf den Prozessorbildschirm) und die Parameter betreffend die Konstruktion der mathematischen Gleichungen (einschließ­ lich der Anzahl der aus jedem Umriß entnommenen Punkte und der Anzahl von Termen des Polynoms der Kurven bezüglich der zu berechnenden Kante und Oberflächen.

Die Phase der Veränderung der Parameter erfolgt dann unter Steuerung durch den Block 58, der dem Benutzer die Wahl läßt, ob er einen oder mehrere der oben bezeichneten Parameter speichern oder über die Tastatur 2 und/oder die Maus 4 und den Koordinatorblock 20 unter Darstellung auf dem Bildschirm 3 ändern will.

Wenn dagegen die Bedienungsperson eine Überprüfung der Kameraeinstellung durchführen will, erfolgt ein Übergang von Block 77 auf Block 79, der sich auf die Initialisierungsopera­ tionen bezieht. In dieser Phase erfolgt neben anderen Dingen ein Auslesen der inneren Parameter aus dem Speicher 23, der Modi (d. h. der sich auf die Bildverarbeitung und die bereits abgeklärten Kameraeinstellungen beziehenden Parameter) aus dem Speicher 24 sowie des augenblicklichen Bezugssystems von der Meßmaschine 5 und der Befehle, die sich auf die bereits defi­ nierten Instrumente beziehen. Außerdem fordert der Block 57 die Bedienungsperson auf, eine Kennung zur Identifizierung der zu definierenden Position anzugeben (wie beispielsweise eine Winkelposition des Fernsehkameraträgers), überprüft, ob eine solche Kennung existiert und fordert ggfs. eine Kennung an, die das der Position zuzuordnende Instrument identifiziert und seine Existenz abklärt. Dann erfolgt vom Block 79 ein Übergang zum Block 80, durch den der Block 57 die Einstellung der Fern­ sehkamera durch die Bedienungsperson verlangt. Dann erfolgt ein Übergang zum Block 81, durch den der Block 57 die augen­ blickliche Lage der Maschine abliest. Im nachfolgenden Block 82 werden die für die Erfassung des Bildes des Eichmusters, welches vorher von der Bedienungsperson auf dem Bett 9 der Meßmaschine 5 befestigt worden war, erforderlichen Schritte aktiviert. In dieser Phase werden Daten, die sich auf die durchzuführenden Operationen beziehen, und die zugeordneten Parameter für die Steuerung der Operationen vom Block 57 zum Bildprozessor 16 übertragen, der somit das Bild aufnimmt. Dann folgt der Block 87, der sich auf die Verarbeitung auf niederer Ebene zur Erfassung der signifikanten Punkte des Eichmusters bezieht, was weiter unten genauer erläutert wird. Am Ende dieses Ablaufs kehrt die Steuerung zum Block 57 zurück, der aufgrund einer Anweisung durch den Bildprozessor 16 die in der gemeinsamen Datenzone 21 gespeicherten Daten ausliest. Die Sequenz, die anhand der Blöcke 80 bis 83 beschrieben wurde, wird vorzugsweise mehrmals wiederholt, beispielsweise dreimal.

Vom Block 83 erfolgt dann ein Übergang zu Block 84 (der auch vor dem Block 83 liegen könnte), und die Messung des Eichmusters 44 durch den Tastfinger 7 wird aktiviert, wie oben für Block 72 beschrieben wurde.

Schließlich berechnet der Block 57 unter Verwendung der Werte der inneren Parameter der Fernsehkamera die beste Drehungs/Verschiebungsmatrix (Block 85). Die erhaltenen Ergeb­ nisse werden dann dem Koordinator 20 zur Darstellung auf dem Bildschirm 3 zugesandt.

Wenn dagegen die Bedienungsperson die Messung einer unbekannten dreidimensionalen Oberfläche wünscht, dann erfolgt ein Übergang von Block 77 zu Block 87, der sich auf die Ini­ tialisierungsoperationen bezieht. In dieser Phase bewirkt der Block 59 neben anderen Dingen das Auslesen der inneren Parame­ ter aus dem Speicher 23, der Modi aus dem Speicher 24 sowie des augenblicklichen Bezugssystems aus der Meßmaschine 5 und der bereits definierten Instruktionen, die Instrumente betref­ fend. Dann fordert der Block 59 die Bedienungsperson auf, eine Kennung zur Identifizierung der zu verwendenden Position ein­ zugeben und überprüft deren Vorhandensein. Dann erfolgt ein Übergang vom Block 87 auf Block 88, in dem die Bedienungsper­ son aufgefordert wird, von Hand die Fernsehkamera 10 in Stel­ lung zu bringen (mit der Wahl des Bildausschnitts, wie anhand von Block 73 beschrieben wurde). Dann wird im Block 89 die augenblickliche Lage der Maschine gemessen. Danach erfolgt ein Übergang auf den Block 90, der sich auf die Aktivierung der für die Aufnahme des Bilds der von der Bedienungsperson vorher auf dem Bett 9 der Meßmaschine 5 befestigten Oberfläche erfor­ derlichen Operationen bezieht. Nach der Speicherung des ersten Bilds veranlaßt die Einheit 59 die automatische Ausrichtung der Fernsehkamera 10, die über die Verschiebung des Kopfs 8 versetzt wird, und zwar entlang ihrer optischen Achse, weg von der Oberfläche um einen Abstand, der gleich dem von der Bedie­ nungsperson in den Systemparametern ausgewählten Wert ist (Block 91). Dann wird in Block 92 die augenblickliche Position der Maschine gelesen, und dann in Block 93 das zweite Bild der Oberfläche aufgenommen.

Danach erfolgt die Verarbeitung des ersten Bilds (Block 94) und des zweiten Bilds (Block 95) auf der ersten Ebene. Insbesondere können die beiden Verarbeitungsschritte in einer nicht unmittelbar auf die jeweilige Aufnahme des Bilds folgenden Zeit durchgeführt werden, so daß der Meßprozeß un­ mittelbar nach der Aufnahme des zweiten Bilds unterbrochen werden kann und die nachfolgende Verarbeitung zu irgendeinem Zeitpunkt ohne Mitwirkung der Bedienungsperson durchgeführt werden kann, indem die erfaßten und geeignet gespeicherten Bilder wieder aufgerufen werden. Dadurch wird die Bilderfas­ sungsoperation völlig unabhängig von der zugeordneten Verar­ beitung (ebenso wie die Eichoperationen, die Operationen zur Einstellung der Fernsehkamera und die Operationen zur Verände­ rung der Verarbeitungsparameter), wodurch die Flexibilität des Systems deutlich erhöht wird.

Nachdem die Verarbeitung auf niederer Ebene gemäß den Blöcken 94 und 95 erfolgt ist und zur Erfassung von zwei Se­ rien von Listen von Umrißpunkten geführt hat, wie weiter unten genauer anhand von Fig. 4 erläutert werden wird, erfolgt ein Übergang auf Block 96, der sich mit der Stereoverarbeitung befaßt, die weiter unten anhand der Fig. 5 und 6 beschrie­ ben werden wird. Die Steuerung der Abläufe geht über auf den Stereoprozessor 17, der die dreidimensionalen Koordinaten der Punkte der Umrisse jedes Felds berechnet und die Gleichungen der Grenzkurven der Felder und der Oberflächen dazwischen bestimmt. Die so erhaltenen Daten werden in der geteilten Datenzone 22 gespeichert. Am Ende dieser Operationen (oder sogar vorher, wenn die Ergebnisse der Vorprozesse keine Fort­ setzung der Verarbeitung aufgrund von von den Bildern abgelei­ teten Daten erlauben oder wenn die Genauigkeit geringer als von der Bedienungsperson gefordert ist) erfolgt ein Übergang des Prozesses auf den Block 97, der sich auf die Übertragung der Kontrolle auf die Einheit 6 zur Darstellung und Verwaltung der Ergebnisse bezieht. Dieser Block mißt die Oberfläche, indem er die in der geteilten Datenzone 22 gespeicherten Daten verwendet. Die Einheit 6 korrigiert weiter das mathematische Modell auf der Basis der von den Tastfingern 7 durchgeführten Messungen und besorgt die Darstellung und den Aufbau des end­ gültigen Modells, wie dies in der erwähnten Druckschrift DE 38 33 715 A1 beispielsweise beschrieben ist.

Fig. 4 bezieht sich auf die Verarbeitung auf niederer Ebene, die in der zweiten Gruppe von Blöcken 32 bis 35 des Bildprozessors 16 folgt. Das aufgenommene Bild, das in der örtlichen Datenzone 31 als eine Matrix von Bildpunkten ange­ ordnet in einer Vielzahl von Reihen (X-Richtung) und Spalten (y) gespeichert ist, wird ursprünglich so behandelt, daß der Helligkeitsgradient jedes Bildpunkts in X- und Y-Richtung berechnet wird, indem ein Gauß-Filter bestimmter Abmessungen (Block 100) verwendet wird. Danach wird die Matrix (Block 101) abgetastet, um die Bildpunkte zu ermitteln, die ein Gradien­ tendifferential, auch Gradientenmodul genannt, größer als ein vorgegebener Schwellwert besitzen. Für jeden dieser Bildpunkte (Block (102) werden zwei vor und hinter dem betreffenden Bild­ punkt liegende Punkte bestimmt, und zwar in Richtung des vor­ her berechneten Gradienten. Insbesondere ergeben sich diese Punkte auf beiden Seiten des fraglichen Bildpunkts durch die beiden Schnittpunkte zwischen der Gradientenrichtung und den vier Geraden (X = konstant, Y = konstant), die durch die acht Bildpunkte verlaufen, welche dem untersuchten Bildpunkt be­ nachbart sind (in Wirklichkeit schneiden nur zwei dieser Gera­ den die Richtung des Gradienten). Dann berechnet der Block 103 den Modul (erste Ableitung) des Gradienten jedes der davor und dahinterliegenden Punkte durch Linearinterpolation des Gra­ dientenmoduls der beiden Bildpunkte, die dem Punkt davor und dem Punkt danach benachbart sind (siehe beispielsweise Fig. 8, in der das Bezugszeichen 200 einen Bildpunkt angibt, der einen Gradientenmodul größer als ein vorbestimmter Schwellwert besitzt und dessen Gradient durch den Pfeil 201 angedeutet ist. Die Bezugszeichen 202a und 202b bezeichnen die davor und dahinterliegenden Punkte, die aus den Schnittpunkten zwischen der Richtung des Gradienten 201 und der Geraden resultieren, die die Punkte 203a, 203b bzw. 203c, 203d miteinander verbin­ den. Schließlich bezeichnet das Bezugszeichen 204 die Gerade, die durch die Richtung des Gradienten des Bildpunkts 200 defi­ niert ist).

Dann werden in Block 104 die gerade berechneten Modu­ li, die den Punkten vor und hinter dem betreffenden Bildpunkt entsprechen, mit dem Wert des Gradienten des betrachteten Bildpunkts verglichen. Wenn dieser geringer als einer der beiden berechneten Werte ist, dann schreitet das System von Block 104 zu Block 105 vor, demgemäß der betrachtete Bildpunkt beiseitegelegt wird, da er kein Punkt eines maximalen Gradien­ ten ist (ein Kantenpunkt der Felder oder Quadrate). Danach schreitet das System zu Slock 106 voran, der prüft, ob alle im Block 101 bestimmten Bildpunkte untersucht worden sind. Ist dies nicht der Fall, dann wird erneut der Block 102 für den nächstfolgenden Bildpunkt aktiviert.

Wenn dagegen der Block 104 erkennt, daß der betrachte­ te Bildpunkt ein Punkt maximalen Gradienten ist, dann erfolgt ein Übergang zu Block 107 betreffend die Berechnung der Para­ bel, die durch drei Punkte eines zweidimensionalen Raums ver­ läuft, der den Schnitt durch die Richtung des Gradienten der dreidimensionalen Funktion darstellt, die den Wert (Z-Koor­ dinate) des Moduls des Gradienten des Bildpunkts mit den Koor­ dinaten X und Y darstellt. Insbesondere werden die Gleichung und der höchste Punkt der Parabel bestimmt, die durch die Z- Koordinaten (Modul des Gradienten) des betrachteten Bildpunkts und die soeben identifizierten Punkte vor und hinter diesem Bildpunkt verläuft. Die Koordinaten X₁ und Y₁ dieses Höchst­ werts werden dann als die Koordinaten des Kantenpunkts mit größerer Genauigkeit als der Bildpunktgenauigkeit betrachtet und werden dann als eine Versetzung bezüglich der gesamten Koordinaten gespeichert (in der Praxis bildet die Verschie­ bung, die notwendig ist, um den gerade ermittelten Punkt mit den Koordinaten X₁ und Y₁ ausgehend vom Punkt des betrachteten Bildpunktes die notwendige Verschiebung in Richtung des Gra­ dienten um den wahren Höchstwert des Gradienten bezüglich des betrachteten Bildpunkts festzulegen). Diese Operation ist in Fig. 9 dargestellt, in der ein dreidimensionaler Raum zu sehen ist, in dem der Bildpunkt 200, die Punkte 202a, 202b und die entsprechenden Punkte 208 bis 210 zu sehen sind (die Z- Koordinate stellt den Modul des Gradienten dar). Außerdem ist die Parabel 211 zu sehen, die durch die drei genannten Punkte verläuft. Das Bezugszeichen 212 gibt das Maximum der Parabel an mit den Koordinaten X₁ und Y₁ entsprechend dem Punkt 213. Der Punkt 213 bildet somit den Kantenpunkt, der mit höherer Genauigkeit als der Bildpunktauflösung bestimmt ist.

Dem Block 107 folgt der Block 106 und dann der Block 102, bis alle im Block 101 bestimmten Bildpunkte untersucht worden sind. Danach folgt ein Entscheidungsblock 110, der sich auf die Art der durchzuführenden Verarbeitung bezieht. Dieser Block fragt, ob es notwendig ist, die Skelettierung des Pro­ fils auf der Basis von Befehlen durchzuführen, die ursprüng­ lich dem Bildprozessor 16 eingegeben worden waren. Ist dies der Fall (ja-Ausgang aus dem Block 110), dann liefert der Block 32 die gerade ermittelten Ergebnisse an den Block 33 in Fig. 2, so daß die Verarbeitung von dem operativen Block 111 in Fig. 4 übernommen wird. In dieser Phase erfolgt eine Ab­ tastung des ganzen erfaßten Bildes, und für jeden vorher be­ stimmten Kantenpunkt wird die Gerade bestimmt, die von dem Punkt in Richtung entgegengesetzt zur Richtung des Gradienten verläuft, bestimmt durch die Farbe des Streifens (d. h. von dem Kantenpunkt des Streifens zur anderen Kante). Dann (Block 112) wird ein weiterer Kantenpunkt gesucht, der auf der soeben identifizierten Geraden in einem vorbestimmten Abstand liegt. Wenn der anderen Kantenpunkt nicht identifiziert wird, dann erfolgt ein Übergang zum Block 113, in dem der erste Kanten­ punkt eliminiert wird (da er in Wirklichkeit nicht einen Kan­ tenpunkt des Streifens, sondern Rauschen oder einen Punkt darstellt). Im nachfolgenden Block 114 wird dann geprüft, ob alle am Ende der Operationen 102 bis 106 bestimmten Kanten­ punkte überprüft worden sind. Ist dies nicht der Fall, dann erfolgt ein Rücksprung zu Block 111.

Wenn dagegen der entgegengesetzte Kantenpunkt identi­ fiziert wurde (ja am Ausgang des Blocks 112), dann erfolgt ein Übergang auf Block 115, in dem überprüft wird, ob die beiden identifizierten Kantenpunkte antiparallele Gradienten besitzen (d. h. einander entgegengesetzt gerichtet sind). Im positiven Fall erfolgt ein Übergang nach Block 116, in dem die beiden identifizierten Kantenpunkte eliminiert werden und durch den jeweiligen Schwerpunkt ersetzt werden. Dieser Fall (Flußdia­ gramm gemäß den Blöcken 111, 112, 115 und 116) ist beispiel­ haft in Fig. 10 dargestellt, in der das Bezugszeichen 216 einen Kantenpunkt bezeichnet, der mit höherer als Bildpunkt­ genauigkeit durch den Block 32 bestimmt wurde und für den die bestimmte Gerade 217 einen anderen Kantenpunkt 218 mit anti­ parallelen Gradienten trifft, so daß die beiden Punkte 216 und 218, die zwei einander gegenüberliegende Kanten eines Strei­ fens 39 bezeichnen, durch den Punkt 219 ersetzt werden, der auf der Mittellinie 40 liegt. Dann erfolgt ein Übergang zu Block 114. Wenn andererseits die beiden gerade identifizierten Punkte keinen antiparallelen Gradienten besitzen, dann erfolgt ein Übergang von Block 115 auf Block 113 für die Eliminierung des betreffenden Punkts.

Wenn alle Punkte, die vom Block 32 geliefert wurden, untersucht sind, dann ergibt sich das Skelett, das durch die unterbrochenen Umrißlinien 40 in Fig. 10 dargestellt ist. Dieses Skelett besitzt keine Schnittpunkte. Dann erfolgt ein Übergang zu Block 118, der auch angesteuert wird, wenn die Antwort auf Block 110 nein lautet. Dies entspricht der Über­ tragung von Information und Kontrollbefehlen von Block 33 auf Block 34, wenn die Skelettierung erfolgt oder von Block 32 zu Block 34 im anderen Fall. Im Block 114 erfolgt die Verknüpfung von Punkten, nämlich entweder Skelettpunkten oder Kantenpunk­ ten. Dies geschieht ausgehend von jedem Punkt und derart wei­ terschreitend, daß alle benachbarten Punkte gruppiert werden. Ist die Anzahl von benachbarten identifizierten Punkten klei­ ner als ein vorgegebener Schwellwert, dann wird die Kette von der weiteren Betrachtung ausgeschlossen. Am Ende der Operation ergeben sich verfügbare Punkteketten, die je einem Segment des Skeletts oder dem Umriß von Quadraten des Eichmusters zugeord­ net sind.

Dann erfolgt ein Übergang auf Block 119, der unter­ sucht, ob die Verarbeitung die Extraktion von signifikanten Punkten beinhaltet. Ist dies nicht der Fall (Messung einer unbekannten Oberfläche, deren Skelett bereits erhalten wurde), dann wird die Verarbeitung auf niederer Ebene durch den Pro­ zessor 16 beendet und es erfolgt ein Übergang zum Endblock 120, in dem der Verbindungsblock 34 die Ergebnisse in der gemeinsamen Datenzone 21 mit Hilfe des Briefkastens 19 spei­ chert und dementsprechend den Meßblock 59 informiert, der die Operationen eingeleitet hat (Blöcke 94 und 95 in Fig. 3).

Im entgegengesetzten Fall (Messung des Eichmusters, bei der die Skelettierstufe übersprungen wurde) erfolgt der Übergang von Block 119 auf Block 121, indem der Verbindungs­ block 34 die verarbeiteten Daten und Befehle an Block 35 in Fig. 2 weitergibt. Letzterer wählt aus den Ketten von empfan­ genen Punkten die Umrisse aus, die den Umfang von Quadraten bilden können und scheidet die Ketten aus, die zu kurz sind, indem geprüft wird, ob die Umrisse geschlossen sind. Dann erfolgt ein Übergang zu Block 122, der für jeden ausgewählten Umriß einen iterativen Prozeß ablaufen läßt, um die vier Gera­ den zu identifizieren, die zu den Seiten jedes Quadrats ange­ hören. Wenn dieser Prozeß nicht konvergiert, dann folgt auf den Testblock der Block 124, der die betrachtete Kette von der weiteren Verwertung ausschließt und wieder zu Block 122 zu­ rückführt, um eine neue Kette zu untersuchen. Ansonsten er­ folgt ein Übergang von Block 123 auf Block 125 betreffend die Identifizierung der Schnittpunkte zwischen den vier Geraden (d. h. den Ecken zwischen den Seiten jedes Quadrats), betref­ fend die Bestimmung der Gleichungen der beiden Diagonalen, die durch Paare von einander gegenüberliegenden gerade identifi­ zierten Schnittpunkten verlaufen und betreffend die Bestimmung der Länge der Diagonalen und deren Schnittpunkte, woraus sich die Mittelpunkte der Quadrate (signifikante Punkte) ergeben. Der Block 126 überprüft dann, ob alle Umrisse untersucht wur­ den und kehrt zu Block 122 zurück, wenn dies nicht der Fall ist. Am Ende (Ausgang ja von Block 126) erfolgt ein Übergang auf Block 127 zur Ordnung der extrahierten Punkte, wobei auf der Basis der Länge der Diagonalen, die größer im Fall der beiden Quadrate 42 in Fig. 13 ist, die Richtung der Geraden bestimmt wird, auf der die beiden Quadrate 42 liegen. Dann erfolgt eine Achsentransformation derart, daß die X-Achse auf diese Gerade gebracht wird und die Punkte geordnet werden. Am Ende dieser Operationen ist die Verarbeitung auf niederer Ebene beendet und die Verarbeitung geht von Block 127 auf Block 120 über entsprechend der Speicherung der Daten durch den Block 35 in der gemeinsamen Datenzone 21 und der Übergabe der Kontrolle zurück zum Block 53 oder 57 in Fig. 2 (d. h. Übergang vom Block 74 oder 83 auf Block 75 oder 84 in Fig. 3).

Fig. 5 zeigt die Verarbeitung auf hoher Ebene durch den Stereoprozessor 17 und die nachfolgende Messung mit dem Tastfinger 7 (Blöcke 96 und 97 in Fig. 3). Zuerst werden im Block 141 die inneren Parameter und andere für die Verarbei­ tung notwendigen Informationen (beispielsweise bezüglich der grafischen Darstellung auf dem Bildschirm 3) ausgelesen, und dann erfolgt im Block 142 eine Verarbeitung des ersten Bilds, die nunmehr näher unter Bezugnahme auf Fig. 6 beschrieben werden wird, um die in dem von der Fernsehkamera aufgenommenen und bereits auf niederer Ebene verarbeiteten Bild existieren­ den geschlossenen Schleifen zu identifizieren. Danach wird in Block 143 das zweite Bild genauso wie das erste im Block 142 verarbeitet.

Insbesondere sieht man in Fig. 6, daß die Verarbei­ tung jedes Bilds auf hoher Ebene (Blöcke 142 und 143) zuerst das Lesen des zu verarbeitenden Bilds, bestehend aus den Punk­ teketten eines Umrisses (typisch die Punkte des Skeletts), und die Initialisierung einer Stützmatrix beinhaltet, d. h. die Konstruktion einer Matrix mit Abmessungen gleich denen des Bildes, in denen die Adresse der Kette in allen Positionen entsprechend sämtlichen Koordinaten der zu dieser Kette gehö­ renden Punkte (Block 170) enthält. In der Stützmatrix sind somit die Adressen (der Kette) gespeichert, die den Seiten des Skeletts zugeordnet sind, mit Ausnahme der Schnittpunkte, die im Skelett nicht vorhanden sind und bestimmt werden müssen. Zu diesem Zweck wird die Ausgangsrichtung aller Umrisse in Block 171 berechnet (Neigung an den beiden Enden jeder Kette), und dann sucht man für jeden Umriß nach anderen benachbarten En­ den, die zu anderen Umrissen gehören (Block 172). Findet man für eines der beiden Enden der untersuchten Kette keine Nach­ barn (Ausgang nein), dann erfolgt ein Übergang auf Block 173, indem der gerade geprüfte Umriß eliminiert wird (seine Punkte werden aus der Stützmatrix entfernt). Dann erfolgt ein Über­ gang auf Block 174, in dem geprüft wird, ob alle Umrisse un­ tersucht wurden. Im negativen Fall erfolgt ein Rücksprung von Block 174 zu Block 172.

Wenn dagegen die Enden des untersuchten Umrisses Nach­ barn haben (Ausgang ja aus Block 172), dann wird die unter­ suchte Umrißlinie bis zum gemeinsamen Schnittpunkt mit den benachbarten Umrissen verlängert, wie weiter unten unter Be­ zugnahme auf Fig. 11 erläutert wird, wo mehrere verlängerte Umrißlinien zu sehen sind. Insbesondere bezeichnet das Bezugs­ zeichen 230 eine Umrißlinie mit einem Ende 231, für das in­ nerhalb des Quadrats 245 mit vorgegebenen Abmessungen drei benachbarte Enden gefunden wurden, nämlich die Enden 232, 233 und 234, die zu den Umrißlinien 235, 236 bzw. 237 gehören. Dann werden die Paare von Umrißlinien, deren Enden dieselbe Neigung, aber entgegengesetzte Richtung haben, identifiziert (im dargestellten Beispiel das Paar von Umrißlinien 230 und 236 mit den Enden 231 und 233 und das Paar von Umrißlinien 235 und 237 mit den Enden 232 und 234), so daß diese Kurven gemäß Block 175 verlängert werden können. Dann wird in Block 176 für jedes Paar die Gleichung bestimmt, die durch mehrere Punkte der beiden Umrißlinien verläuft (in dem Beispiel die Gleichun­ gen der Kurvenbereiche 238 und 239). Für die Umrißlinien mit Enden, die nicht gepaart werden, wird die Kurve einfach ver­ längert. Dann sucht der Block 177 den gemeinsamen Schnitt­ punkt, wenn er existiert (in Fig. 11 ist somit der Punkt 240 bestimmt), oder man verwendet den Mittelpunkt der Verlängerung der Kurve, falls kein Schnittpunkt existiert. Schließlich speichert der Block 178 verschiedene Punkte jedes Abschnitts der so erhaltenen Verbindungskurve bis zum Schnittpunkt.

Danach wird im Block 174 überprüft, ob alle Umrisse untersucht wurden. Ist dies nicht der Fall, wird zu Block 172 zurückgekehrt. Am Ende der Iterationen ist eine Struktur ver­ fügbar, die aus Schnittlinien besteht (in der Praxis wurden die Schnittpunkte des Skeletts rekonstruiert und die isolier­ ten Seiten wurden eliminiert), die auf dem Bildschirm 3 über die Verbindung zwischen dem Block 46 und dem Bildschirm (siehe Fig. 2) sichtbar gemacht werden können. Dann erfolgt ein Übergang auf Block 179, der die Konstruktion eines grafischen Bilds dieser Struktur betrifft. Hierzu verwendet man eine Matrix, in der die Knoten der grafischen Darstellung gespei­ chert sind (gerade rekonstruierte Schnittpunkte) und die Zwei­ ge oder Verbindungen zwischen diesen Knoten (Umrisse und zu­ geordnete Verlängerungen). Unter Verwendung dieser Matrix sucht der Block 180 nach geschlossenen Pfaden (Schleifen), indem die Arme der grafischen Darstellung quer durchschnitten werden und nach dem kürzesten Weg gesucht wird, der die zwei so getrennten Knoten miteinander verbindet. Am Ende dieser Prozedur sind von den Umrissen gebildete geschlossene Schlei­ fen für das verarbeitete Bild verfügbar. In diesem Punkt ist die getrennte Verarbeitung der beiden Bilder beendet.

Nun (siehe wieder Fig. 5) sucht man für jede so im zweiten Bild (Bezugsbild) identifizierte geschlossene Schleife (gemäß einer bevorzugten Ausführungsform ist dies das Bild, das von der Fernsehkamera mit größerem Abstand von der zu messenden Oberfläche aufgenommen wurde), die entsprechende Schleife im ersten Bild, indem man die Punkte der beiden Bil­ der paarweise verbindet (Block 144). Diese Kopplungsoperation wird so durchgeführt, wie dies nun anhand von Fig. 12 be­ schrieben wird. In dieser Figur sind zwei entsprechende Schleifen 250 und 251 dargestellt. Die Schleife mit größeren Abmessungen 250 stammt aus dem ersten Bild (Fernsehkamera in Naheinstellung). In derselben Figur bezeichnet das Bezugszei­ chen 252 die Projektion des optischen Zentrums auf die Bild­ ebene (Bildmittelpunkt). Für jeden Punkt des Bezugsbilds wird die gerade Linie berechnet, die vom Bildmittelpunkt 252 aus­ geht und durch den fraglichen Punkt verläuft (beispielsweise den Punkt 253 in Fig. 12 durch Bestimmung des Strahls 254). Dann sucht man innerhalb eines vorgegebenen Abstands vom frag­ lichen Punkt nach Grenzpunkten im anderen Bild, die auf dem­ selben Strahl liegen (im dargestellten Beispiel wurde der Punkt 255 auf der Schleife 250 gefunden). Die Suche nach dem zweiten Punkt kann ggfs. noch verfeinert werden, indem man die Gleichung der örtlichen Variation der Kurve ableitet, die durch die Punkte im zweiten Bild verläuft und indem man nach dem Punkt sucht, der dem Strahl 254 am nächsten kommt. Schließlich wird das Verhältnis zwischen den Abständen von den beiden so identifizierten gekoppelten Punkten zum Bildmittel­ punkt berechnet (R/r, wobei r sich auf den Punkt im Bezugsbild und R auf den Punkt im ersten Bild bezieht). Bei Abschluß der Schleifenkopplungsoperationen, die im Block 48 in Fig. 2 durchgeführt wurden, können die Ergebnisse auf dem Bildschirm 3 dargestellt werden.

Dann werden (Block 145) ausgehend von dem oben erwähn­ ten Verhältnis und ggfs. nach einer Filterung in einem Gauß- Filter die dreidimensionalen Koordinaten der Punkte des Pro­ fils (Umrißlinien der Felder) berechnet, indem ein Modell der Perspektivprojektion verwendet wird. Insbesondere werden die Koordinaten Xt, Yt und Zt der Punkte des Profils in dem Fern­ sehkamerabezugssystem berechnet unter Verwendung der folgenden Gleichungen

Xt = (Xi - Xo) _* Zt/a
Yt = (Yi - Yo) _* Zt/b
Zt = (-Dz) _* R/r

Hierbei bilden (Xo, Yo) die Koordinaten des Bildmit­ telpunkts, a und b sind die Werte des Brennpunkts bei den Bildpunkten X und Y, Dz ist die Höhenvariation entlang der optischen Achse der beiden Bilder, (Xi, Yi) sind die oben abgeleiteten Koordinaten des Punkts im Bezugsbild und R/r ist das erwähnte Verhältnis.

Dann werden die so berechneten Koordinaten in das Bezugssystem der Meßmaschine 5 transformiert, und dann werden die Gleichungen der Randkurven berechnet, die durch die eben ermittelten dreidimensionalen Punkte verlaufen. Die Ergebnisse dieser Operation, welche von Block 49 in Fig. 2 durchgeführt wird, kann ebenfalls auf dem Bildschirm 3 dargestellt werden. Außerdem kann dieses Ergebnis in der geteilten Datenzone 22 zur Verwendung durch die Einheit 6 gespeichert werden.

Da die Schleifen vier Seiten haben, wird nun die drei­ dimensionale Oberfläche, die sich zwischen den Kurven er­ streckt, unter Verwendung bekannter Rechentechniken durch den Block 146 rekonstruiert. Wenn diese Operation für mehr als eine Schleife durchgeführt wurde, so daß mehrere dreidimensio­ nale Oberflächen entstanden sind, dann können diese auch mit­ einander verknüpft werden. Das Ergebnis dieser Operation, die vom Block 50 in Fig. 2 durchgeführt wird, läßt sich auch auf dem Bildschirm 3 darstellen und in der geteilten Datanzone 22 speichern.

Danach geht im Block 147 die Kontrolle wieder auf die Einheit 6 über, die mit Hilfe des Tastfingers 7 physisch die Koordinaten von verschiedenen Punkten der Oberfläche mißt, und zwar ausgehend von den Ergebnissen der vorhergehenden Verar­ beitung, um die Genauigkeit der Ergebnisse selbst zu erhöhen und die Verarbeitung zu ergänzen, wenn die Zwischendaten der Bildverarbeitung die Rekonstruktion der Kurven und/oder der Oberfläche nicht zulassen. Das Meßverfahren mit dem Tastfinger kann von der Art sein, wie es in der erwähnten Druckschrift DE 38 33 715 A1 beschrieben ist, indem dieser Vorgang nach der unter Bezugnahme auf Fig. 8 dieser Druckschrift beschriebenen Verarbeitung erfolgt (Überprüfung bezüglich Block 64), oder aber indem dieser Vorgang vor der Verarbeitung gemäß Fig. 5 dieser Druckschrift erfolgt (die auf Block 61 bezogene opera­ tive Phase), wenn die Bestimmung der Gleichungen ausgehend von einem einzigen Bild nicht möglich ist.

Schließlich wird im Block 148 überprüft, ob alle qua­ dratischen Schleifen des Bildes gemessen worden sind. Ist dies nicht der Fall, dann wird der Prozeßteil in den Blöcken 144 bis 147 für alle Schleifen wiederholt, und ggfs. werden die erhaltenen Daten verarbeitet, um eine Kontinuität zwischen benachbarten Schleifen zu erzielen. Dann endet der Prozeß (Block 150).

Die Vorteile, die durch das erfindungsgemäße System erreicht werden, sind folgende:

Aufgrund der Verwendung einer ohne Einschränkung durch die zu messende Oberfläche auf der Meßmaschine beweglichen Fernsehkamera ist es möglich, Oberflächen unterschiedlichster Abmessungen von sehr klein bis sehr groß zu messen, indem die Weite des umfaßten Raums variiert wird und das optische System an das zu messende Objekt angepaßt wird (beispielsweise durch Veränderung der verwendeten Objektive). Aufgrund der Flexibi­ lität in der Wahl der Lage der Fernsehkamera bezüglich der Oberfläche und ihrer Anpassungsfähigkeit an das zu messende Objekt ist das System weiter in der Lage, dreidimensionale Oberflächen ohne Rücksicht auf die Form und ohne prinzipielle Einschränkungen zu messen, was die Lage dieser Oberfläche bezüglich der Vorrichtung zum Aufnehmen der Bilder angeht (Fernsehkamera).

Das beschriebene System ermöglicht die Messung von Oberflächen unbekannter Form, ohne beschränkt zu sein auf die Erkennung von vorgegebenen Formen, wie dies bei bekannten optischen Systemen der Fall ist. Zugleich erleichtert das System die Arbeit der Bedienungsperson, indem sie die manuelle Messung Punkt für Punkt auf der Oberfläche ersetzt und die Definition der Meßpfade durch ein einfaches Rastern des zu messenden Bereichs ersetzt. Tatsächlich erfolgt im beschriebe­ nen System die mögliche Messung mit dem Tastfinger zur Über­ prüfung der Oberfläche automatisch.

Mit dem beschriebenen System ist es möglich, die Ope­ rationen betreffend die Messung der Oberfläche so zu organi­ sieren und programmieren, daß sie an die äußeren Erfordernisse angepaßt sind, beispielsweise was die verfügbare Zeit oder die Messung unterschiedlicher Oberflächen angeht. Insbesondere ist es möglich, das Bild (oder die beiden Bilder) der zu messenden Oberfläche zu einem Zeitpunkt aufzunehmen und alle oder einen Teil der nachfolgenden Verarbeitungsoperationen zu einem ande­ ren Zeitpunkt durchzuführen, ggfs. sogar ohne unmittelbare Mitwirkung der Bedienungsperson.

Das System ist besonders flexibel aufgrund seiner Organisation in vier Ebenen, derart, daß es sich an Erforder­ nisse anpassen kann. Wenn das System nicht häufige und zahl­ reiche Verarbeitungen durchführen muß, so daß die Intervention durch die Bedienungsperson nicht besonders ins Gewicht fällt, ist es auch möglich, das beschriebene System so zu ändern, daß es nur mit der Verarbeitung auf der ersten Ebene arbeitet, nämlich der Erfassung der zweidimensionalen Koordinaten mit Hilfe der Fernsehkamera (die in diesem Fall auch mit einer telezentrischen Linse ausgerüstet sein kann), während die dritte, die Raumkoordinate, durch den Tastfinger ermittelt wird. Die zweite Ebene gemäß der obigen Beschreibung verlangt jedoch eine Fernsehkamera mit einer nicht telezentrischen Linse (um die Perspektivverformungen zu erhalten, die für die Rekonstruktion der dritten Koordinate verwendet werden). Die Verwendung der dritten Ebene mit der automatischen Bewegung der Fernsehkamera verringert weiter den Einsatz der Bedie­ nungsperson, da die Rasterung der Oberfläche durch die Fern­ sehkamera automatisch erfolgt, während es im Fall der vierten Ebene, die die Rekonstruktion der Fläche im Inneren der Felder unter Verwendung einer einzigen Fernsehkamera betrifft, mög­ lich ist, auf den Tastfinger und die zugehörigen Testphasen dann zu verzichten, was die Messung beschleunigt und die Ko­ sten reduziert.

Schließlich ist es klar, daß das beschriebene und dargestellte System im Rahmen der Erfindung verändert werden kann. Ebensogut wie die Realisierung des der vorliegenden Erfindung unterliegenden Prinzips in verschiedenen Ebenen wie oben erläutert erfolgen kann, kann das erfindungsgemäße System auch so modifiziert werden, daß eine direkte Intervention der Bedienungsperson in den verschiedenen Phasen möglich ist, die eine Entscheidung erfordern, um somit besondere Erfordernisse zu berücksichtigen oder die Verarbeitung durch das System selbst zu vereinfachen.

Die Zentraleinheit 1 und die Einheit 6, die getrennt dargestellt wurden, je mit einer eigenen Steuer- und Verarbei­ tungseinheit, können auch in einem einheitlichen System ver­ wirklicht sein mit einer einzigen Zentralkontrolleinheit, die eine mathematische Darstellung der Oberfläche in allen Phasen überwacht.

Schließlich können die Verarbeitungsvorgänge der unte­ ren und oberen Ebene zum Erhalt von dreidimensionalen Koor­ dinaten der Punkte der Oberfläche aus dem Bild bzw. den Bil­ dern, die von der Fernsehkamera aufgenommen wurden, modifi­ ziert und verbessert werden, indem geeignete Rechentechniken zur Anwendung kommen, ggfs. auch solche aufgrund zukünftiger Entwicklung und Methoden und zukünftig verfügbarer Hardware. Insbesondere kann die Fernsehkamera möglicherweise durch ein anderes elektronisches Bilderfassungs- und Speichersystem ersetzt werden, das geeignet ist, ein Bild der betrachteten Oberfläche aufzunehmen und als eine Gruppe von Punkten zu speichern, die durch den Helligkeitsgrad der entsprechenden Punkte auf der Oberfläche charakterisiert sind. Außerdem kön­ nen die Flußdiagramme der Vorgänge und Abläufe in der Zentral­ einheit 1 so variiert werden, daß die Bedienungsperson, wenn nötig, intervenieren kann, oder so, daß einige Bearbeitungs­ stufen eliminiert werden (beispielsweise weil sie zu einem anderen Zeitpunkt durchgeführt werden). Auch ist es möglich, einen anderen Übergang der Kontrolle der Operationen zwischen den verschiedenen Blöcken der Fig. 2 vorzusehen.

Schließlich sei darauf hingewiesen, daß das verwendete Eichmuster auf andere Weise hergestellt sein kann als oben beschrieben und dargestellt; insbesondere könnten die Elemente des Eichmusters andere Formen (beispielsweise Kreise) besitzen oder nur die für die Ausrichtung des Eichmusters verwendeten Elemente könnten eine andere Form als die übrigen Elemente besitzen. Schließlich könnte das Eichmuster auch ein dreidi­ mensionales Muster sein mit Figuren oder Elementen, die in verschiedenen Ebenen liegen, oder mit dreidimensionalen Struk­ turen (beispielsweise einer Kugel).

Claims (27)

1. System zur mathematischen Erfassung dreidimensionaler Ober­ flächen, dadurch gekennzeichnet, daß es eine Meßmaschine (5), die einen dreidimensionalen Meßbereich definiert, optische Mittel (10), die ein Bild der zu messenden dreidimensionalen Oberfläche erzeugen und auf der Meßmaschine (5) in verschieb- und orientierbarer Weise innerhalb des Meßbereichs montiert sind, und Verarbeitungsmittel (16) aufweist, die an die opti­ schen Mittel angeschlossen sind und zur Bestimmung der Koor­ dinaten von Punkten der zu messenden Oberfläche eingerichtet sind.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die Verarbeitungsmittel (1, 6) Mittel aufweisen, die Punkte großen Kontrasts (39, 41, 42) im Vergleich zu benachbarten Zonen auf dieser Oberfläche erkennen.

3. System nach Anspruch 2, dadurch gekennzeichnet, daß die Punkte großen Kontrasts (39) so angeordnet sind, daß sie ge­ schlossene Grenzlinien von Oberflächenbereichen definieren.

4. System nach einem der Ansprüche 1 bis 3, dadurch gekenn­ zeichnet, daß die optischen Mittel eine Fernsehkamera (10) aufweisen.

5. System nach einem der Ansprüche 2 bis 4, dadurch gekenn­ zeichnet, daß es weiter einen Tastfinger (7) zur Erfassung von mindestens einigen der Punkte großen Kontrasts (39) auf der Oberfläche aufweist, wobei die Verarbeitungsmittel erste und zweite Verarbeitungsmittel (1, 6) enthalten, von denen erstere (1) mit den optischen Mitteln (10) zum Empfang von Bildern der zu messenden Oberfläche verbunden sind und Mittel (16) enthal­ ten, die die zweidimensionalen Koordinaten der Punkte großen Kontrasts (39) bestimmen, während die zweiten Verarbeitungs­ mittel (6) mit dem Tastfinger (7) verbunden sind und Mittel zur Bestimmung der dritten Koordinate der von dem Finger er­ faßten Punkte enthalten.

6. System nach einem der Ansprüche 2 bis 4, dadurch gekenn­ zeichnet, daß die optischen Mittel (10) Mittel zur Erzeugung zweier verschiedener Bilder der zu messenden Oberfläche auf­ weisen, von denen jedes aus einer Vielzahl von Punkten (200, 203a bis 203b) gebildet wird, die der Helligkeit von Punkten der zu messenden Oberfläche zugeordnet sind, und daß die Ver­ arbeitungsmittel (1) Mittel (48) enthalten, um Paare von Punk­ ten der beiden Bilder, die demselben Punkt auf der zu messen­ den Oberfläche entsprechen, einander zuzuordnen, sowie Mittel (49) zur Bestimmung der dreidimensionalen Koordinaten der Punkte der Oberfläche ausgehend von den erwähnten Punktpaaren mit Hilfe einer Perspektiv-Transformation aufweist.

7. System nach einem der Ansprüche 1 bis 6, dadurch gekenn­ zeichnet, daß es Mittel (8, 11) für die automatische Bewegung der optischen Mittel (10) besitzt.

8. System nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß es außerdem einen Tastfinger (7) zur Erfassung von mindestens einigen der Punkte der Oberfläche aufweist, deren Koordinaten bestimmt worden waren, sowie Mittel (6) aufweist, um die be­ stimmten Koordinaten auf der Basis der Tastfingermessung zu korrigieren.

9. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß es Mittel (50, 6) aufweist, die geeignet sind, ein physisches Modell der zu messenden Oberfläche ab­ zuleiten.

10. System nach einem der Ansprüche 2 bis 9, dadurch gekenn­ zeichnet, daß die Verarbeitungsmittel (1) eine Eicheinheit (18) enthalten, die geeignet ist, Befehle bezüglich der Mes­ sung einer bekannten Eichoberfläche (44) und zur Bestimmung von inneren Parametern der optischen Mittel (10), eine Schätz­ und Meßeinheit (15) zur Ermittlung der Einstellung der opti­ schen Mittel und zur Erzeugung von Steuerbefehlen bezüglich der Messung einer Oberfläche und einen Bildprozessor (16) aufweisen, der das von den optischen Mitteln erzeugte Bild empfängt, die Punkte großen Kontrasts (39, 41, 42) erfaßt und sie in Punkteketten anordnet.

11. System nach Anspruch 10, dadurch gekennzeichnet, daß dar Bildprozessor (16) zwei Bilder der zu messenden Oberfläche in zwei unterschiedlichen Positionen der optischen Mittel (10) empfängt, und daß die Verarbeitungsmittel (1) weiter einen Stereoprozessor (17) aufweisen, der von dem Bildprozessor (16 die Punkteketten bezüglich der beiden Bilder empfängt und Mittel (48) aufweist, mit denen die den zwei Bildern angehö­ renden und demselben Punkt auf der zu messenden Oberfläche zugeordneten Punkte der Ketten miteinander verbunden werden, und daß Mittel (49) vorgesehen sind, mit denen die dreidimen­ sionalen Koordinaten der Punkte der Oberfläche ausgehend von den verbundenen Punkten mit Hilfe einer Perspektiv-Transforma­ tion bestimmt werden.

12. System nach Anspruch 10, dadurch gekennzeichnet, daß die Eichoberfläche (44) Figuren (41, 42) aufweist, die durch Per­ spektiv-Transformation nicht veränderbare geometrische Kenn­ werte besitzen, und daß die Eicheinheit (18) Mittel (54) auf­ weist, mit denen die Punkte auf der Eichoberfläche (44) Punk­ ten des Bildes der Eichoberfläche zugeordnet werden.

13. System nach Anspruch 12, dadurch gekennzeichnet, daß die Eichoberfläche (44) aus einer Vielzahl von Quadraten (41, 42) besteht, die durch Oberflächenbereiche mit hohem Kontrast bezüglich der Quadrate getrennt sind, wobei die unveränder­ lichen Kennwerte durch die Schnittpunkte der Diagonalen dieser Quadrate gebildet werden.

14. System nach Anspruch 12 oder 13, dadurch gekennzeichnet, daß die Eicheinheit (18) weiter Mittel (52, 72) zur Erfassung der Lage und Ausrichtung der Eichoberfläche bezüglich der Meßmaschine (5) und zur Berechnung der geometrischen Kennwerte der Eichoberfläche (44), Mittel (73) zur Bestimmung der geome­ trischen Kennwerte im Bild der Eichoberfläche und Mittel (54, 75) zur Berechnung von Projektionen der optischen Mitte auf die Bildebene, der Brennweite und der Abmessungen der Bild­ punkte ausgehend von den geometrischen Kennwerten auf der Eichoberfläche und auf dem Bild aufweist.

15. System nach einem beliebigen der Ansprüche 12 bis 14, dadurch gekennzeichnet, daß die Schätz- und Meßeinheit Mittel zur Erfassung der Lage und Ausrichtung der Eichoberfläche bezüglich der Meßmaschine, Mittel zur Berechnung der geome­ trischen Kennwerte auf der Meßoberfläche, Mittel zur Bestim­ mung der geometrischen Kennwerte in dem Bild der Eichoberflä­ che und Mittel zur Berechnung der Drehung und Verschiebung der optischen Mittel bezüglich der Meßmaschine ausgehend von den geometrischen Kennwerten auf der Eichoberfläche und auf dem Bild aufweist.

16. System nach Anspruch 10 und nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, daß die Schätz- und Meßeinheit (15) Mittel (88) zur Überprüfung der Position der optischen Mittel (10), Mittel (90), die den Bildprozessor (16) in die Lage versetzen, die Punktekette zu bestimmen, Mittel zur Be­ stimmung der zweidimensionalen Koordinaten der Punkte dieser Ketten und Mittel (97) aufweist, die die Ermittlung der drit­ ten Koordinate der Punkte der Kette mit Hilfe des Tastfingers (7) veranlassen.

17. System nach einem der Ansprüche 10 bis 15, dadurch gekenn­ zeichnet, daß die Schätz- und Meßeinheit (15) Mittel (88, 91) zur Überprüfung der Lage der optischen Mittel (10), Mittel (90, 93) zur Kontrolle des Bildprozessors (16) für die Bestim­ mung einer ersten und einer zweiten Gruppe von Punkteketten in einem ersten bzw. zweiten Bild entsprechend unterschiedlichen Abständen zwischen den optischen Mitteln (10) und der zu mes­ senden Oberfläche und Mittel (96) aufweist, um den Stereopro­ zessor (17) zu veranlassen, die dreidimensionalen Koordinaten zu bestimmen.

18. System nach einem der Ansprüche 10 bis 17, dadurch gekenn­ zeichnet, daß der Bildprozessor (16) Mittel (32, 100) zur Berechnung des Helligkeitsgradienten der Bildpunkte, Mittel (32, 101 bis 107) zur Bestimmung von Punkten eines maximalen Gradienten bezüglich von Nachbarpunkten und Verbindungsmittel (34, 118) aufweist, um die Punkte mit größtem Gradienten in Ketten benachbarter Punkte innerhalb eines vorbestimmten Ab­ stands zu verbinden.

19. System nach Anspruch 18, dadurch gekennzeichnet, daß der Bildprozessor (16) weiter erste Mittel (33, 111 bis 116) zur Berechnung des Schwerpunkts zwischen Punktepaaren eines maxi­ malen Gradienten, zweite Mittel (35, 121 bis 127) zur Berech­ nung signifikanter Punkte bezüglich der Punkte eines maximalen Gradienten und dritte Mittel (110, 119) aufweist, mit denen die ersten und zweiten Mittel selektiv aktiviert werden, wobei die ersten Mittel (33, 111 bis 116) zwischen den Mitteln (32, 100) zur Berechnung des Gradienten und den Verbindungsmittel (34, 118) angeordnet sind, während die zweiten Mittel (35, 121 bis 127) hinter den Verbindungsmitteln (34, 118) liegen.

20. System nach Anspruch 18 oder 19, dadurch gekennzeichnet, daß die Mittel (32, 101 bis 107) zur Bestimmung von Punkten eines maximalen Gradienten Mittel (101) zur Auswahl der Bild­ punkte mit einem Gradienten größer als ein vorgegebener Schwellwert, Mittel (102) zur Bestimmung der Richtung des Gradienten, Mittel (103) zur Bestimmung des Gradienten benach­ barter Punkte bezüglich der ausgewählten Bildpunkte in der bestimmten Richtung, und Mittel (107) zur Berechnung des Maxi­ mums der Parabel durch die dreidimensionalen Punkte entspre­ chend dem ausgewählten Bildpunkt und den ausgewählten Nachbar­ punkten, mit einer dritten Koordinaten gleich den jeweiligen Gradientenwerten, und zur Bestimmung der Koordinaten des Höchstpunkts auf der Parabel aufweisen.

21. System nach Anspruch 19, dadurch gekennzeichnet, daß die ersten Mittel (33, 111 bis 116) Mittel (111) zur Bestimmung eines von dem Punkt eines maximalen Gradienten ausgehenden Strahls, Mittel (112) zur Suche nach einem weiteren Punkt eines maximalen Gradienten innerhalb eines vorgegebenen Ab­ stands und auf diesem Strahl, sowie Mittel (115, 116) aufwei­ sen, die den Punkt und den weiteren Punkt eines maximalen Gradienten durch ihren Schwerpunkt ersetzen, wenn diese ein­ ander entgegengesetzte Gradienten besitzen.

22. System nach Anspruch 19, dadurch gekennzeichnet, daß die zweiten Mittel (33, 121 bis 126) Mittel (121) zur Auswahl geschlossener Punkteketten mit einer größeren Länge als ein vorgegebener Wert und mit einem Umriß geometrischer Formen, Mittel (122 bis 124) zur Bestimmung der Gleichungen von vier Geraden des Umrisses, die durch Punkte jeder der Punkteketten identifiziert sind, Mittel (125) zur Bestimmung der Schnitt­ punkte zweier diagonaler Geraden, die je zwei gegenüberliegen­ de Schnittpunkte der Umrißgeraden verbinden, und Mittel (126) zur Orientierung dieser signifikanten Punkte aufweisen.

23. System nach einem der Ansprüche 11 bis 15 und 17 bis 22, dadurch gekennzeichnet, daß der Stereoprozessor (17) Mittel (45 bis 48) zur Identifizierung von geschlossenen Schleifen in jedem der vom Bildprozessor (16) verarbeiteten Bilder auf­ weist, die Mittel (45, 171) zur Bestimmung der örtlichen Nei­ gung der Enden der Punkteketten, Mittel (45, 172) zur Gruppie­ rung der Enden der Punkteketten innerhalb eines vorgegebenen gegenseitigen Abstands, Mittel (46, 175) zur Identifizierung von Umrißpaaren, deren gruppierte Enden örtlich zueinander in Gegenrichtung geneigt sind, Mittel (46, 176) zur Verlängerung dieser Paare von Umrissen bis zu einem gemeinsamen Punkt, Mittel (47, 177) zur Bestimmung des Schnittpunkts dieser Paare von verlängerten Umrissen und Mittel (48, 180) zur Bestimmung geschlossener Pfade einschließlich der verlängerten Umrisse und der Schnittpunkte aufweisen.

24. System nach Anspruch 23, dadurch gekennzeichnet, daß der Stereoprozessor (17) weiter Mittel (48, 144) zum Koppeln von Paaren einander entsprechender Punkte der geschlossenen Schleifen in den beiden Bildern, Mittel (49, 145) zur Berech­ nung der dreidimensionalen Koordinaten dieser Paare gekoppel­ ter Punkte und zur Berechnung der Gleichungen und Kurven, die durch diese dreidimensionalen Koordinaten verlaufen, und Mit­ tel (50, 146) zur Berechnung der Gleichungen der sich zwischen diesen Kurven erstreckenden Oberfläche besitzt.

25. Verfahren zur Messung dreidimensionaler Oberflächen, da­ durch gekennzeichnet, daß man Linien großen Kontrasts (39) auf einer zu messenden Oberfläche erzeugt, optische Mittel (10) verschiebt und ausrichtet (80, 88, 91), um Bilder aufzunehmen, die die zu messende Oberfläche in einem dreidimensionalen Bereich erfassen, Bilder von dieser Oberfläche aufgenommen werden (82, 90, 93), Punkte auf den Linien großen Kontrasts festgelegt und deren Koordinaten bestimmt werden (96).

26. Ein Eichmuster (44) zum Eichen des Meßsystems nach einem der Ansprüche 1 bis 24, dadurch gekennzeichnet, daß es eine ebene Oberfläche enthält, die eine Vielzahl von gleichmäßig auf der ebenen Fläche verteilten Quadraten (41, 42) definiert, die einen großen Kontrast bezüglich der übrigen Bereiche die­ ser ebenen Oberfläche besitzen.

27. Struktur nach Anspruch 26, dadurch gekennzeichnet, daß zwei (42) dieser Quadrate größere Abmessungen als die übrigen Quadrate (41) besitzen.