DE69802980T2 - Verfahren und Anordnung zur räumliche Lokalisierung eines Objekts - Google Patents

Verfahren und Anordnung zur räumliche Lokalisierung eines Objekts

Info

Publication number
DE69802980T2
DE69802980T2 DE69802980T DE69802980T DE69802980T2 DE 69802980 T2 DE69802980 T2 DE 69802980T2 DE 69802980 T DE69802980 T DE 69802980T DE 69802980 T DE69802980 T DE 69802980T DE 69802980 T2 DE69802980 T2 DE 69802980T2
Authority
DE
Germany
Prior art keywords
image
marks
positions
traces
localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69802980T
Other languages
English (en)
Other versions
DE69802980D1 (de
Inventor
Laurent Letellier
Marc Viala
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Orano Demantelement SAS
Original Assignee
Commissariat a lEnergie Atomique CEA
Compagnie Generale des Matieres Nucleaires SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Compagnie Generale des Matieres Nucleaires SA filed Critical Commissariat a lEnergie Atomique CEA
Publication of DE69802980D1 publication Critical patent/DE69802980D1/de
Application granted granted Critical
Publication of DE69802980T2 publication Critical patent/DE69802980T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

  • Die Erfindung bezieht sich auf ein Verfähren und eine Vorrichtung zum Lokalisieren eines Objekts im dreidimensionalen Raum und kann auf zahlreichen Gebieten, wie z. B. der Robotertechnik, der Kartographie, der Aeronautik etc. Anwendung finden, in denen Ortsveränderungen eines mobilen Festkörpers auf zufällige Art und Weise zu Positionsmeßzwecken, zu Zwecken der Bahnaufzeichnung bzw. Flugbahnverfolgung, der Steuerung von industriellen Arbeitsprozessen oder zu Zwecken der Verformungsmessung geortet werden müssen.
  • Die technischen Lösungen zum Ausführen solcher Messungen oder solcher Steuerungen sind zahlreich, aber nicht alle sind in einer industriellen Umgebung leicht umzusetzen, die wegen hoher Temperaturen und Drücke oder wegen Radioaktivität unwirtlich sein kann. Andererseits sind einige von ihnen nicht in der Lage, rasch und mit genügender Präzision Resultate zu liefern.
  • Die bekannten Verfahren bestehen allgemein darin, das Objekt mit Zielscheiben auszustatten, die von einem Meßfühler anvisiert werden und deren Positionen hinsichtlich des Meßfühlers bestimmt werden; die Gesamtheit der Positionen der verschiedenen Ziele gestattet es, die Position des Objekts abzuleiten, einschließlich seiner Ausrichtung. Die gewöhnlichen Ziele bzw. Zielscheiben sind von drei Kategorien: magnetische, Ultraschall- und optische. Die ersteren bestehen im allgemeinen aus Spulen mit pulsierter Funktion, um Magnetfelder zu erzeugen, und die Systeme dieser Art werden durch magnetische Meßfühler vervollständigt, welche die Kräfte und die Winkel der Felder bestimmen. Ihnen ist jedoch eine große Meßlatenz, Grenzen der Reichweite und Interferenzen, die die Spulen hervorrufen, wenn sich eisenhaltige Materialien innerhalb der Felder befinden, vorzuwerfen. Schließlich ist die Lokalisierung bzw. Ortung ungenau.
  • Die Ultraschall-Ziele sind Sender von Impulsfolgen, welche mehrere Meßfühler empfangen, um die Distanz zwischen jedem Sender und jedem Meßfühler zu messen und die Position der Sender durch Dreiecksberechnungen abzuleiten. Nachteile dieser Lösungen sind dabei wiederum mit mangelnder Auflösung, einer geringen Präzision und Interferenzrisiken verbunden, die durch die Echos und andere Geräusche hervorgerufen werden.
  • Die optischen Lösungen beruhen auf der Beobachtung von von dem Objekt getragenen Ortungsmarken, die von Kameras oder ähnlichen Bildaufnahmemitteln gesehen werden können. Wenn mehrere Kameras vorgesehen sind, wird eine stereoskopische Vision der Umgebung und des Objekts realisiert, was ermöglicht, die Richtung zwischen dem Objekt und jeder der Kameras abzuleiten, indem separat die Position der Ortungsmarken auf jedem der Bilder untersucht wird, und die Position des Objekts durch eine Triangulierung abzuleiten. Diese Systeme sind jedoch wegen der vielen Kameras kostspielig, die außerdem mit großer Präzision verbunden sein müssen, damit die Lokalisierungsqualität akzeptabel ist; die Lokalisierung ist dabei auf Objekte begrenzt, die in ziemlich beschränkten Zonen des Raums vorhanden sind, genauer gesagt auf den Ort, an dem die Lichtbündel der Beobachtungskameras zusammenlaufen, was es erforderlich macht, die Kameras zu demontieren und das System für Beobachtungen bei unterschiedlichen Distanzen neu anzupassen.
  • Die monokulare Lokalisierung beruht auf der Anwendung einer einzigen Kamera. Bestimmte Auflösungsverfahren sind analytisch und machen es erforderlich, eine Gleichung oder ein Gleichungssystem zu lösen, um die Positionen der Ortungsmarken anhand ihrer Bilder zu bestimmen. Sie sind schnell, jedoch gegenüber Meßgeräuschen empfindlich.
  • Eine weitere Kategorie besteht in iterativen Auflösungen, bei denen die Position der Ortungsmarken des Objekts geschätzt und dann korrigiert wird, um ein Fehlerkriterium zwischen den von der Kamera aufgezeichneten Bildern und denjenigen Bildern, die mit der geschätzten Position der Ortungsmarken erhalten würden, zu minimieren. Diese Auflösungen sind präzise, gegenüber Meßgeräuschen wenig empfindlich und ermöglichen es, eine variable Anzahl an Ortungsmarken auszuwerten, sie weisen jedoch den Nachteil auf, dass die Konvergenz ziemlich langsam sein kann und daß die erste Schätzung nahe an der Lösung liegen muss, weil ansonsten die Konvergenz nicht gewährleistet ist.
  • Eine Lösung ist in dem Artikel "Model-based object pose in 25 lines of code" von DeMenthon und Davis, erschienen im International Journal of Computer Vision, Band 15, Seiten 123-141, 1995 beschrieben und besteht darin, eine erste Schätzung der Position der Ortungsmarken des Objekts durch einen approximativen, aber leicht zu handhabenden Algorithmus zu erhalten, anschließend die Schätzung der Position durch einen iterativen Prozeß zu korrigieren, indem Positionsschätzungen der Ortungsmarken auf das Bild der Kamera projiziert werden, bevor der approximative Algorithmus auf diese Projektionen angewandt wird, um neue Positionsschätzungen der Ortungsmarken zu ergeben, die präziser sind als die vorangehenden.
  • Die Erfindung gehört zur Familie der monokularen optischen Verfahren und umfaßt die Anwendung eines iterativen Auflösungsverfahrens unter Verwendung eines ersten Algorithmus zur Schätzung einer diesem Gegenstand sehr nahen Position; sie unterscheidet sich jedoch insbesondere durch einen besseren End-Schätzalgorithmus, der gegenüber Meßgeräuschen weniger empfindlich ist, durch einen speziellen Verbesserungsschritt der Bestimmung der Position der Ortungsmarken auf dem Bild sowie durch eine Art der Ortungsmarken, die es ermöglicht, dem Erfordernis der Präzision in der Endbestimmung der Position des Bildes zu entsprechen.
  • In ihrer am allgemeinsten gehaltenen Formulierung betrifft die Erfindung ein Verfahren zum räumlichen Lokalisieren eines Marken tragenden Objekts, das darin besteht, Positionen von Spuren der Marken auf einem durch eine Bildaufnahmeeinrichtung erstellten Bild zu bestimmen und dann die Positionen der Marken in bezug auf die Bildaufnahmeeinrichtung, ausgehend von den Positionen der Spuren auf dem Bild, zu berechnen, dadurch gekennzeichnet, daß es einen Schritt bzw. eine Phase der Verbesserung der Bestimmung der Positionen der Spuren auf dem Bild umfaßt, indem ein Modell für die Spuren durch vorbestimmte Funktionen geometrischer Form erstellt wird, und die Positionen der Formfunktion, welche die beste Übereinstimmung mit den Spuren ergeben, berechnet werden. Diese Modellbildung ermöglicht es, die Position der Spuren mit einer Genauigkeit zu schätzen, die wesentlich höher ist als ein Auflösungsschritt der Bildaufnahmeeinrichtung, was eine ausgezeichnete Präzision der Lokalisierung der Marken selbst bei Bildern mit geringer Auflösung ergibt.
  • Die dem Verfahren zugeordnete Vorrichtung gemäß der Erfindung umfaßt vorzugsweise reflektierende Marken oder nicht, die keine Lichtquellen aufweisen, und die Bildaufnahmeeinrichtung ist eine Kamera.
  • Die Erfindung wird nun anhand der folgenden Figuren genauer beschrieben, die vollständig eine mögliche Realisierung unter anderen darstellen. Es zeigen:
  • Fig. 1 eine allgemeine Ansicht der Erfindung,
  • Fig. 2 eine Veranschaulichung der Suchtechnik der Spuren von Marken des Objekts auf dem Bild,
  • Fig. 3 und 4 eine Modellbildung der Spur, und
  • Fig. 5 eine Erläuterung des Lokalisierungsverfahrens.
  • Fig. 1 stellt ein Objekt dar, das ein von einer Faust 2 zu greifendes Werkzeug 1 sein kann, und das Marken 3 auf einer einer Beobachtungs-Videokamera 4 zugewandten Seite trägt; die Marken 3 können aus Motiven geringer Oberfläche bestehen, wie z. B. aus Farbpunkten, oder die das Licht der Umgebung reflektieren. Es ist nicht unerläßlich, daß die Marken 3 eine festgelegte und unveränderliche Orientierung in bezug die Videokamera 4 aufweisen, sondern daß sie ihr vielmehr schräg präsentiert werden, ohne dabei die Präzision der Erfassung zu beeinträchtigen, was es ermöglicht, die Erfindung auf eine viel größere Anzahl von Situationen anzuwenden.
  • Diese passiven Marken werden eindeutig gegenüber Lichtmarken bevorzugt, die im allgemeinen in der Technik angewandt werden und die leichter sichtbar sind, deren Konturen jedoch weniger scharf sind, was es nicht gestattet, den Algorithmus zur Verbesserung der Positionsschätzung, der später beschrieben wird, zu nutzen.
  • Desgleichen sind andere Marken 3 auf der Oberfläche eines anderen Objekts, nämlich eines Arms 5 eines Roboters oder eines von einem Rechner ferngesteuerten Arms angebracht, der den Handgriff 2 zu greifen versucht. Die Videokamera 4 hilft bei der Annäherung des Werkzeugs 1, indem es dieses lokalisiert und dann periodisch den Arm 5 während seiner Bewegung lokalisiert, um so jedesmal die Relativposition der beiden Objekte angeben zu können. Die Videokamera 4 ist mit einer Recheneinheit 5 verbunden, welche diese Auskünfte bzw. Informationen bestimmt, und die selbst entweder mit einer Steuervorrichtung des Arms 5 oder über einen Arm mit Fernsteuerung mit einer Anzeigeeinheit 6 im Blickfeld des Bedienungspersonals verbunden ist, das dabei mit Effizienz ein Steuerelement 7 des Arms 5 betätigt.
  • Der erste Schritt des Verfahrens der Lokalisierung besteht darin, die Spur der Marken 3 auf dem von der Videokamera 4 aufgenommenen Bild zu suchen. Es handelt sich um eine Identifizierungsetappe von Bildchen oder Bildabschnitten, die jeweils die Spur einer der Marken 3 enthalten. Fig. 2 zeigt, daß durch eine Korrelation des Bildes 10 der Videokamera 4 mit einem vorher aufgenommenen Bild 9 zur Eichung vorgegangen wird. Wenn festgestellt wurde, daß die Spur einer der Marken 3 in dem Umfang eines Abschnitts oder eines Referenzbildchens 11 des Eichungsbilds 9 enthalten war, erzeugt das Lokalisierungsprogramm sukzessive Bildchen 12 des gleichen Umfangs mit Koordinaten x und y auf dem Bild 10 und berechnet die Korrelation C der Lichtstärke der Bildpunkte 11 und 12 gemäß folgender Formel (1)
  • wobei cov die Ko-Varianz ist, E die mathematische Erwartung und σ der Abweichungstyp der Lichtintensität ist. Mo und 14 stellen die Lichtinhalte oder -motive der Bildchen 11 und 12 dar. Diese Berechnung wird für alle Positionen des Bildchens 12 wiederaufgenommen, indem x und y variiert werden. Dabei erhält man eine Korrelationstabelle des Bildes 10, dessen Punkte von einer zwischen -1 und +1 gelegenen Zahl beeinflußt werden, wobei -1 eine Anti-Korrelation zwischen den Motiven Mo und Mk für die in Betracht gezogenen Koordinaten x und y, 0 ein Fehlen der Korrelation und +1 eine perfekte Korrelation darstellt. Die letztere Situation tritt auf, wenn das Bildchen 12 mit dem Referenzbildchen 11 identisch ist: die Korrelation dient dazu, die Stellen der besten Korrelation mit dem Bildchen 11 auf dem Bild 10 mittels Lektüre der Korrelationstabelle zu orten; dabei ist es möglich, eine bestimmte Anzahl von Bildchen 12 auf dem Bild 10 zu isolieren, die jeweils die Spur 13 einer der Marken 3 des anvisierten Objekts enthalten. Das Referenzbildchen 11 kann für mehrere Bildchen 12 stehen, wenn die Marken 3 identisch sind; andernfalls wird ein Bildchen 12 einem betreffenden Referenzbildchen 11 zugeordnet.
  • Es müssen jedoch bestimmte Vorsichtsmaßnahmen getroffen werden, um das Verfahren interessanter und sicherer zu gestalten. Es muss zugegeben werden, daß diese Korrelationsberechnungen lang und kostspielig sind. Deshalb werden sie in Wirklichkeit an reduzierten Bildern vorgenommen, die einfach eine Auswahl von Punkten (Pixeln) des Originalbildes aufweisen. Aus dem so erhaltenen reduzierten Korrelationsbild wählt man die Punkte aus, die Kandidatenbildchen größerer Zahl als die der gesuchten Bildchen 12 entsprechen. Die Kandidatenbildchen (imagettes candidates) sind Ziel einer zweiten Auswahl, indem eine Überprüfungskorrelation an kompletten Kandidatenbildchen vorgenommen wird, d. h. in denen alle beim Aufbau des reduzierten Bildes entfernten Punkte reintegriert werden. Die schließlich festgehaltenen Bildchen 12 sind diejenigen, welche die beste Prüfkorrelation mit dem Bezugsbildchen 11 aufweisen. Diese Vorsichtsmaßnahmen ermöglichen es, sich gegen Fehlerrisikos zu wappnen, die mit den konkreten Auswertungsbedingungen zusammenhängen, wobei parasitäre Lichteinwirkungen oder andere Artefakte einen Fehler im System hervorrufen können und es dazu bringen können, Spuren 13 an diesen Stellen statt an den wirklichen Stellen zu identifizieren. Außerdem können die Prüfkorrelationen mehrere Male für jedes der Bildchen 12 berechnet werden, indem sie jedesmal in den Umfang eines Fensters 14 von vorbestimmten Dimensionen verschoben werden, das um jedes der Kandidatenbildchen aufgebaut wird. Selbstverständlich wird die Position der besten Korrelation im Fenster 14 zurückgehalten, um das Bildchen 12 zu definieren. Das Risiko, die Spur 13 zu unterbrechen, indem sie schlecht im Bildchen 12 ausgerichtet wird, ist dabei sehr gering.
  • Ein wichtiges Element der Erfindung besteht darin, mit großer Präzision die Position der Spuren 13 der Marken 3 auf den Bildchen 12 zu schätzen: das vorgeschlagene Verfahren ermöglicht es, eine Lokalisierung bzw. Ortung unter Pixel- Niveau (localisation sous-pixellique) dieser Position vorzunehmen, d. h. mit einer besseren Präzision als der der Größe eines Bildpunkts. Es ist dabei möglich, zufriedenstellende Lokalisierungsergebnisse des Objekts zu erhalten, selbst mit einer Videokamera 4 mit geringer Auflösung, die weniger kostspielig ist und deren Bildauswertung schneller ist. Dabei wäre es möglich, auf die Korrelationsberechnung zwischen dem Bildchen 12 der Spur 13 und einem Ursprungsbild wie z. B. dem Bildchen 11 zurückzugreifen, um beispielsweise die Position des Zentrums der Spur 13 auf dem Bildchen 12 zu berechnen. Diese Verfahrensart wird jedoch funktionsunfähig, wenn das Objekt 1 sich gedreht hat und seine Marken 3 unter einem verschiedenen Auftreffwinkel gesehen werden, der sie (die Marken) auf dem Bildchen 12 verformt. Deshalb wird vorgeschlagen, die Spuren 13 auf dem Bildchen 12 durch eine Formel, wie z. B. die folgende (2), zu modellisieren:
  • wobei I die Lichtintensität auf dem Bildchen 12 ist, a, b, c und d Konstanten sind, wobei die drei ersten dazu dienen, die Lichtintensität des Hintergrunds des Bildchens 12 zu schätzen, und die letztere die Gesamt-Lichtintensität der Spur 13; mx, my drücken die Koordinaten der Mitte der Spur 13 aus, σx und ihre σy ihre Breiten auf Hauptachsen, die im Hinblick auf Hauptachsen des Bildchens 12 schräg verlaufen können, und rxy drückt die Ausbreitung der Spur aus.
  • In mathematischer Hinsicht sind a, b und c Koeffizienten einer Ebene, und d die Größe einer Gauss'schen Funktion eines zweidimensionalen elliptischen Schnitts, wobei mx und my die Mittelwerte sind, σx und σy die Abweichungstypen sind, und r,~, die Korrelation ist. Die Fig. 3 und 4 liefern eine graphische Darstellung hiervon.
  • Man sieht, daß dieses Modell die Verengung der Spur 13 auf dem Bildchen 12 nach Entfernen der Marke 3 und seiner Formung nach der Drehung des Objekts 1 berücksichtigt. Wenn man (xy) die an den Punkten des Bildchens gemessene Lichtintensität nennt, besteht die Aufgabe darin, die Funktion Cmin der Formel (3) zu minimieren:
  • C (a,b,c,d,mx,my,σx,σy,rxy) = (I(x,y) - (x,y))² (3)
  • indem man die Variablen dieser Funktion variiert, d. h. die Modellbildungsparameter, damit die von dieser vorgegebenen Lichtintensitäten bestmöglich mit den gemessenen Werten koinzidieren. Eine genaue Modellbildung der Spur 13 wird dabei erhalten: Insbesondere kann man davon die Mitte durch die Werte von mx und my ableiten, und folglich mit einer vorläufigen Eichung der Bilder der Videokamera 4 durch Photogrammetrie die Richtung der Marke 3, die dem bezüglich der Videokamera 4 in Betracht kommenden Bildchen 12 zugeordnet ist.
  • Das vorher gegebene Modell eignet sich für kreisförmige Marken 3, es ist aber einfach, es auf unterschiedliche Marken einfacher Form zu übertragen.
  • Es verbleibt nun die Bestimmung der Position der Marken 3 bezüglich der Videokamera 4. Die Fig. 5 gestatte t es, die folgenden Erläuterungen zu verstehen.
  • Es wird davon ausgegangen, daß die geometrischen Verzerrungen, die durch das Objektiv der Videokamera 4 verursacht werden, korrigiert worden sind, was einfach durch eine vorläufige Eichung der Videokamera 4 durch Photogrammetrie vorgenommen werden kann, wobei der Punkt P, wie z. B. das Zentrum bzw. die Mitte einer Marke 3, sich auf einer Projektionslinie L befindet, die durch das Zentrum Pp der entsprechenden Spur 13 auf dem Bild 10 und durch einen Endpunkt F hindurchgeht. Die Achsen einer Markierung der Kamera, deren Brennpunkt F der Ursprung ist, werden i, j und k genannt, wobei die Achse k senkrecht zum Bild 10 ist. Alle Punkte des von der Videokamera 4 wahrgenommenen Raums · projizieren sich auf das Bild 10 durch eine Linie, die durch den Brennpunkt F geht: diese konvergierende Projektion wird "perspektivisch" genannt. Die Position der Punkt Pp, die Mitten der Spuren 13 sind, ist also voraussehbar, wenn das Objekt 1 eine gegebene Position im Blickfeld der Videokamera 4 einnimmt; das Problem besteht darin, die Beziehungen der Retro-Projektion aufzufinden, welche die Punkte Pp zu Punkten P werden lassen. Dabei stellt man fest, daß die strengen Beziehungen der Rückprojektion, die durch Umkehr der Projektionsbeziehungen erhalten werden und ermöglichen, die Koordinaten der Punkte Pp durch die Koordinaten der Punkte P zu berechnen, nicht leicht ausgewertet werden können, da sie nicht aus einem System linearer Gleichungen bestehen.
  • Deshalb sieht man vor, auf eine erste Auswertung der Position der Punkte P zurückzugreifen; diese erste Auswertung ist approximativ, sie kann jedoch leicht erhalten werden und ermöglicht es, anschließend ein Konvergenzverfahren zur wirklichen Lösung hin anzuwenden. Das verfolgte Prinzip besteht darin, anzunehmen, daß die Punkte P sich in zwei Etappen auf das Bild 10 projizieren, zunächst durch eine orthogonale Projektion auf eine Zwischenebene n parallel zur Ebene des Bildes 10 in einem Punkt P', und dann durch eine perspektivische Projektion dieses Punkts P' zum Brennpunkt F hin, was einen Punkt Pp' auf dem Bild 10 ergibt. Dieser fiktive Projektionspunkt befindet sich neben dem Punkt Pp realer Projektion. Die erste Auswertung der Position der Punkte P besteht darin, eine Rückprojektion umgekehrt zur eben beschriebenen fiktiven Projektion auf die Punkte Pp des Bildes 10 anzuwenden: die so erhaltenen Punkte werden mit ºP bezeichnet.
  • Nachdem dieses Prinzip dargelegt wurde, sind die vorgenommenen Berechnungen genauer zu erläutern.
  • Die Lage des Objekts 1 kann durch eine Drehung R und eine Translationsbewegung t in Übereinstimmung mit den folgenden Matrizen 4 dargestellt werden, die den Übergang von dem oben definierten Markierungspunkt der Videokamera 4 zu einem mit dem Objekt 1 verknüpften Markierungspunkt bilden:
  • t = (tx, ty, tz)T
  • wobei tx, ty und tz Translationskoordinaten sind, die in den Achsen i, j und k des Markierungspunkts der Videokamera 4 ausgedrückt sind, und i, j und k Richtvektoren des Markierungspunkts der Videokamera 4 sind, die im Markierungspunkt des Objekts 1 ausgedrückt sind.
  • Die Ebene π wird gewählt, damit der Ursprungspunkt O des Markierungspunkts des Objekts 1 ihr angehört, was impliziert, daß der Brennpunkt F von der Ebene π um die Größe tz entfernt ist.
  • Wenn man ºx, ºy, und ºz die Koordinaten des Punkts P im Markierungspunkt des Objekts 1 nennt, und und die Koordinaten des Punkts P'p am Bild 10, kann man die folgenden Beziehungen (5) erhalten:
  • Diese Gleichungen können auf eine Anzahl n von Punkten P des Objekts 1 auf folgende Weise (6) verallgemeinert werden:
  • wobei die Bezeichnungen I, J, A, , durch folgende Gleichungen (7) gegeben sind:
  • Es handelt sich nun um die Berechnung der Mengen I und J, die durch die folgenden Formeln (8) vorgenommen wird:
  • wobei die Matrix B das Pseudo-Inverse von A ist, d. h., B = (ATA)&supmin;¹AT.
  • Die Berechnung der Parameter i, j, k und tx, ty, tz der Matrizen R und t wird nun auf einfache Weise durch Abfolge der folgenden Schritte vorgenommen:
  • - Berechnung der Normen nI = (I&sub1;,I&sub2;,I&sub3;)T und
  • nJ = (J&sub1;,J&sub2;,J&sub3;)T ;
  • Berechnung der mittleren Norm n = (nI + nJ)/2;
  • - Berechnung von i = (I&sub1;,I&sub2;,I&sub3;)T/nI und von J = (J&sub1;,J&sub2;,J&sub3;)T/nJ;
  • - Berechnung von k durch das Vektorprodukt der Vektoren i und j;
  • - Berechnung der Zusammensetzung tz = 1/n;
  • - Berechnung von tx = I&sub4;tz und ty = J&sub4;tz
  • Wenn die Position der Punkte ºP zur Schätzung der Position der Punkte P auf diese Weise durch die Berechnungen erhalten wurde, muss man sie wegen des beim Kommentar zur Fig. 5 erläuterten Anfangsfehlers korrigieren. Die Punkte ºP werden auf die Ebene des Bildes 10 längs einer Linie F projiziert, die zum Brennpunkt F hin gerichtet ist. Die Koordinaten und des Projektionspunkts ºPp sind durch folgende Formeln (9) gegeben:
  • die mit den vorausgehenden angenäherten Formeln (5) zu vergleichen sind, jedoch einfacher sind.
  • Die definitive Schätzung der Lokalisierungsparameter des Objekts 1, d. h. die Werte der Koeffizienten der Matrizen R und t, welche die Position und die Ausrichtung des Markierungspunkts des Objekts 1 ergeben, wird durch Minimieren des quadratischen Fehlers zwischen den Koordinaten und erhalten, die an den Punkten Pp des Bildes 10 gemessen werden, und den Koordinaten und der Projektionen ºPp, berechnet durch die vorausgehenden Formeln (9) der Punkte ºP. Unsicherheiten hinsichtlich der Koordinaten der Punkte Pp, die durch Modellbildung der Spur 13 geschätzt wurden, werden berücksichtigt (diese Unsicherheiten werden durch eine Matrix Λ von Koeffizienten dargestellt, die im voraus geschätzt werden können). Mit anderen Worten versucht man, die Menge Cmin, gegeben durch folgende Formel (10) zu minimieren.
  • Es wird durch Iterationen vorgegangen, indem jedesmal die Punkte ºP als Funktion der Positionen ihrer Projektionen ºPp auf dem Bild 10 verschoben werden, bis diese Projektionen ausreichend zu den Zentren Pp der Spüren 13 konvergiert sind.

Claims (9)

1. Verfahren zum räumlichen Lokalisieren eines Marken (3) tragenden Objekts (1), das darin besteht, Positionen von Spuren (13) der Marken (3) auf einem durch eine Bildaufnahmeeinrichtung (4) erstellten Bild (10) zu bestimmen und dann die Positionen der Marken (3) in Bezug auf die Bildaufnahmeeinrichtung (4) ausgehend von den Positionen der Spuren (13) auf dem Bild (4) zu berechnen, dadurch gekennzeichnet, daß es einen Schritt bzw. eine Phase der Verbesserung der Bestimmung der Positionen der Spuren (13) auf dem Bild (10) umfaßt, indem ein Modell für die Spuren (13) durch vorbestimmte Funktionen geometrischer Form erstellt wird und die Positionen der Formfunktion, welche die beste Übereinstimmung mit den Spuren ergeben, berechnet werden, wobei die Übereinstimmung berechnet wird, indem eine Lichtstärkendifferenz auf dem Bild zwischen der Spur (13) und der Funktion geometrischer Form, die eine Gauss-Funktion der Lichtstärke mit variablen Parametern umfaßt, minimiert wird.
2. Verfahren zum Lokalisieren nach Anspruch 1, dadurch gekennzeichnet, daß die variablen Parameter Abmessungsparameter der geometrischen Form umfassen.
3. Verfahren zum Lokalisieren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die variablen Parameter Verformungsparameter der geometrischen Form umfassen.
4. Verfahren zum Lokalisieren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Funktion geometrischer Form eine Modellbildung für die Lichtstärke des Bildhintergrunds umfaßt.
5. Verfahren zum Lokalisieren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß es einen Schritt der Reduzierung des Bildes (10) umfaßt, wobei nur ein Teil der (Bild-)Punkte des Bildes (10) beibehalten wird, gefolgt von einem Schritt der Spurensuche auf dem reduzierten Bild, indem es mit einem Referenzbild (11) in Korrelation gebracht wird, bevor der Schritt zum Verbessern der Bestimmung der Positionen der Spuren unter Verwendung des nicht-reduzierten Bildes ausgeführt wird.
6. Verfahren zum Lokalisieren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß es eine Extraktion von Teilen (12) des Bildes (10), von denen jeder eine der Spuren (13) umfaßt, und einen Positionsabgleich der Bildteile (12) in größeren Fenstern (14), damit diese die Spuren (13) korrekt einfassen, umfaßt, indem Korrelationen der sukzessive in der Position abgeglichenen bzw. angepassten Bildteile (12) und eines eine Markenspur enthaltenden Referenzbildes (11) maximiert werden, bevor der Schritt zum Verbessern der Bestimmung der Positionen der Spuren ausgeführt wird.
7. Verfahren zum Lokalisieren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Positionen der Marken (3) durch einen Algorithmus berechnet werden, der eine Rückprojektion der Spuren (13) auf eine Ebene (π) parallel zu einer Ebene des Bildes (10) längs von Linien, die zu einem einzigen Brennpunkt (F) konvergieren, und dann in den Raum senkrecht zu der parallelen Ebene vornimmt.
8. Verfahren zum Lokalisieren nach Anspruch 7, dadurch gekennzeichnet, daß die durch den Algorithmus berechneten Marken durch eine Rechenoperation auf die Ebene des Bildes (10) längs von zu dem Brennpunkt (F) konvergierenden Linien projiziert werden, um Prüfprojektionen zu ergeben, und daß die Positionen der berechneten Marken korrigiert werden, um ein Fehlerkriterium zwischen den Prüfprojektionen und den Spuren zu minimieren.
9. Vorrichtung zum Ausführen des Verfahrens nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Marken (3) keine Lichtquelle aufweisen und die Bildaufnahmeeinrichtung eine Kamera (4) ist.
DE69802980T 1997-02-28 1998-02-24 Verfahren und Anordnung zur räumliche Lokalisierung eines Objekts Expired - Lifetime DE69802980T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9702426A FR2760277B1 (fr) 1997-02-28 1997-02-28 Procede et dispositif de localisation d'un objet dans l'espace

Publications (2)

Publication Number Publication Date
DE69802980D1 DE69802980D1 (de) 2002-01-31
DE69802980T2 true DE69802980T2 (de) 2002-08-29

Family

ID=9504299

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69802980T Expired - Lifetime DE69802980T2 (de) 1997-02-28 1998-02-24 Verfahren und Anordnung zur räumliche Lokalisierung eines Objekts

Country Status (5)

Country Link
US (1) US6300974B1 (de)
EP (1) EP0863413B1 (de)
JP (1) JP4221768B2 (de)
DE (1) DE69802980T2 (de)
FR (1) FR2760277B1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018208080B3 (de) 2018-05-23 2019-09-19 Kuka Deutschland Gmbh Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2760277B1 (fr) * 1997-02-28 1999-03-26 Commissariat Energie Atomique Procede et dispositif de localisation d'un objet dans l'espace
FR2770317B1 (fr) 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US7158610B2 (en) * 2003-09-05 2007-01-02 Varian Medical Systems Technologies, Inc. Systems and methods for processing x-ray images
US6937696B1 (en) 1998-10-23 2005-08-30 Varian Medical Systems Technologies, Inc. Method and system for predictive physiological gating
US6621889B1 (en) 1998-10-23 2003-09-16 Varian Medical Systems, Inc. Method and system for predictive physiological gating of radiation therapy
US8788020B2 (en) * 1998-10-23 2014-07-22 Varian Medical Systems, Inc. Method and system for radiation application
US6980679B2 (en) * 1998-10-23 2005-12-27 Varian Medical System Technologies, Inc. Method and system for monitoring breathing activity of a subject
US6279579B1 (en) * 1998-10-23 2001-08-28 Varian Medical Systems, Inc. Method and system for positioning patients for medical treatment procedures
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US20020131643A1 (en) * 2001-03-13 2002-09-19 Fels Sol Sidney Local positioning system
US6929548B2 (en) * 2002-04-23 2005-08-16 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices
US7769430B2 (en) * 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
KR100561837B1 (ko) 2001-07-09 2006-03-16 삼성전자주식회사 삼차원 환경에서 이미지 기반의 랜더링의 정보를 표현하기위한 방법
US20050233770A1 (en) * 2002-02-06 2005-10-20 Ramsey Craig C Wireless substrate-like sensor
US20050224902A1 (en) * 2002-02-06 2005-10-13 Ramsey Craig C Wireless substrate-like sensor
US7289230B2 (en) * 2002-02-06 2007-10-30 Cyberoptics Semiconductors, Inc. Wireless substrate-like sensor
FR2838198B1 (fr) * 2002-04-05 2004-06-25 Acticm Repere dispose dans un environnement a mesurer et systeme de mesure comprenant ce repere
US20030199324A1 (en) * 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US20040002369A1 (en) * 2002-05-06 2004-01-01 Walker Jay S. Method and apparatus for modifying a game based on results of game plays
US8571639B2 (en) 2003-09-05 2013-10-29 Varian Medical Systems, Inc. Systems and methods for gating medical procedures
EP1665162A1 (de) * 2003-09-26 2006-06-07 Micro-Epsilon Messtechnik GmbH & Co. KG Verfahren und vorrichtung zur berührungslosen optischen 3d-l agebestimmung eines objekts
DE10358017A1 (de) * 2003-12-11 2005-07-21 Siemens Ag 3D Kamerasteuerung
US20060074305A1 (en) * 2004-09-30 2006-04-06 Varian Medical Systems Technologies, Inc. Patient multimedia display
US9119541B2 (en) * 2005-08-30 2015-09-01 Varian Medical Systems, Inc. Eyewear for patient prompting
US7893697B2 (en) 2006-02-21 2011-02-22 Cyberoptics Semiconductor, Inc. Capacitive distance sensing in semiconductor processing tools
US7804306B2 (en) * 2006-02-21 2010-09-28 CyterOptics Semiconductor, Inc. Capacitive distance sensing in semiconductor processing tools
US8823933B2 (en) * 2006-09-29 2014-09-02 Cyberoptics Corporation Substrate-like particle sensor
DE102007005085A1 (de) 2007-02-01 2008-08-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten eines Fahrzeug-Umfeldsensors oder Scheinwerfers
DE102007005086A1 (de) * 2007-02-01 2008-08-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten eines Fahrzeug-Umfeldsensors oder Scheinwerfers
DE102007005084A1 (de) 2007-02-01 2008-08-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten eines Fahrzeug-Umfeldsensors
US7778793B2 (en) * 2007-03-12 2010-08-17 Cyberoptics Semiconductor, Inc. Wireless sensor for semiconductor processing systems
FR2913749B1 (fr) * 2007-03-13 2009-04-24 Commissariat Energie Atomique Systeme d'eclairage matriciel, notamment de type scialytique procede de controle d'un tel eclairage et procede d'etalonnage d'une camera equipant un tel systeme
JP4960754B2 (ja) * 2007-04-25 2012-06-27 キヤノン株式会社 情報処理装置、情報処理方法
US7953247B2 (en) 2007-05-21 2011-05-31 Snap-On Incorporated Method and apparatus for wheel alignment
US20100061596A1 (en) * 2008-09-05 2010-03-11 Varian Medical Systems Technologies, Inc. Video-Based Breathing Monitoring Without Fiducial Tracking
US10667727B2 (en) 2008-09-05 2020-06-02 Varian Medical Systems, Inc. Systems and methods for determining a state of a patient
JP5928114B2 (ja) * 2012-04-12 2016-06-01 セイコーエプソン株式会社 ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
FR2993371B1 (fr) * 2012-07-13 2014-08-15 Thales Sa Systeme optique de mesure d'orientation et de position sans formation d'image a source ponctuelle et masque
EP2767232A1 (de) * 2013-02-15 2014-08-20 Koninklijke Philips N.V. System und Verfahren zur Bestimmung eines Lebenszeichens eines Patienten
US9802693B2 (en) * 2013-06-14 2017-10-31 The Boeing Company Control surface calibration system
EP3157715B1 (de) * 2014-06-23 2019-06-05 ABB Schweiz AG Verfahren zur kalibrierung eines roboters und ein robotersystem
CN112704514B (zh) * 2020-12-24 2021-11-02 重庆海扶医疗科技股份有限公司 病灶定位方法及病灶定位系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4183055A (en) * 1978-08-24 1980-01-08 The United States Of America As Represented By The United States Department Of Energy Beam/seam alignment control for electron beam welding
JP2564963B2 (ja) * 1990-03-29 1996-12-18 三菱電機株式会社 ターゲット及びこれを用いた三次元位置姿勢計測システム
JP3073599B2 (ja) * 1992-04-22 2000-08-07 本田技研工業株式会社 画像のエッジ検出装置
US5521036A (en) * 1992-07-27 1996-05-28 Nikon Corporation Positioning method and apparatus
JP3208953B2 (ja) * 1993-09-29 2001-09-17 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2903964B2 (ja) * 1993-09-29 1999-06-14 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
FR2760277B1 (fr) * 1997-02-28 1999-03-26 Commissariat Energie Atomique Procede et dispositif de localisation d'un objet dans l'espace

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018208080B3 (de) 2018-05-23 2019-09-19 Kuka Deutschland Gmbh Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters

Also Published As

Publication number Publication date
EP0863413B1 (de) 2001-12-19
JP4221768B2 (ja) 2009-02-12
JPH10253322A (ja) 1998-09-25
DE69802980D1 (de) 2002-01-31
US6300974B1 (en) 2001-10-09
FR2760277A1 (fr) 1998-09-04
FR2760277B1 (fr) 1999-03-26
EP0863413A1 (de) 1998-09-09

Similar Documents

Publication Publication Date Title
DE69802980T2 (de) Verfahren und Anordnung zur räumliche Lokalisierung eines Objekts
DE69806894T2 (de) Verfahren zur messung der position und der ausrichtung von einer oder mehreren bewegten kameras
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
DE68926247T2 (de) Verfahren und system zum selbsttätigen nachweis der ortung und orientierung eines gegenstandes im dreidimensionalen raum
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
Matthies et al. Error modeling in stereo navigation
DE69800084T2 (de) Verfahren zur linearen Bestimmung der drei-dimensionalen Lage mit affiner Kamerakorrektur
EP2791903B1 (de) Verfahren und vorrichtung zur schätzung einer pose
DE102013211240B4 (de) Bereichsmessvorrichtung und Bereichsmessverfahren
EP2916106B1 (de) Verfahren zur Positions- und Lagebestimmung mittels virtueller Referenzbilder
EP3463766A1 (de) Verfahren zur orientierung eines industrieroboters und industrieroboter
EP1285224A1 (de) Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
DE112011100681T5 (de) Positions- und orientierungsschätzverfahren und vorrichtung dafür
DE102019109624A1 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
EP2325725A1 (de) Verfahren zum reduzieren eines effekts auf virtuelle objekte
DE112014006911T5 (de) Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors
DE3635076C2 (de)
DE102006004153B4 (de) Automatisches Einmessen kooperierender Roboter
DE69829091T2 (de) Messungsgerät
DE102019102927B4 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes
EP1098268A2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102005060980B4 (de) Verfahren und System zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung
DE102019110729A1 (de) Verfahren zur Ausrichtung mindestens eines Kalibrierkörpers und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten
DE102005005242A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets

Legal Events

Date Code Title Description
8364 No opposition during term of opposition