DE102006005036A1

DE102006005036A1 - Vorrichtung und Verfahren zur verbesserten Formcharakterisierung

Info

Publication number: DE102006005036A1
Application number: DE102006005036A
Authority: DE
Inventors: José Luis Moctezuma de la Barrera; Waldean A. Boulder Schulz; Donald W. Schoolcraft Malackowski
Original assignee: Stryker Leibinger GmbH and Co KG
Current assignee: Stryker European Operations Holdings LLC
Priority date: 2005-02-04
Filing date: 2006-02-03
Publication date: 2006-09-07
Anticipated expiration: 2026-02-04
Also published as: US20060241404A1; US7623250B2; DE102006005036B4; JP2006258798A

Abstract

Die Form und Ausrichtung von starren oder annähernd starren beweglichen Körpern werden mittels einer Formcharakterisierung bestimmt. Sensoren erfassen eine Vielzahl von Darstellungen verschiedener Perspektiven des Körpers, die analysiert werden, um ein Hüllvolumen des Körpers zu bestimmen. Die Form des Körpers wird aus dem Hüllvolumen bestimmt. Die Position des Körpers wird mittels Verfolgungseinrichtungen bestimmt, die die Position des Körpers ermitteln. Das Hüllvolumen und die Positionsinformationen werden kombiniert, um die Form und Ausrichtung des Körpers im Raum und insbesondere die Position eines ausgezeichneten Punktes auf dem Körper zu bestimmen.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Diese Erfindung betrifft das Bestimmen der Form von starren oder annähernd starren Körpern. Genauer gesagt betrifft diese Erfindung die Formbestimmung solcher Körper mittels eines rechnergestützten Navigationssystems.

Die rechnergestützte Bestimmung der Position von Körpern wird seit vielen Jahren in Fertigungs- und medizinischen Bereichen verwendet. Rechnergestützte Navigation erfordert, dass die vom Navigationssystem zu verfolgenden Körper eine bekannte Form besitzen, so dass die Ausrichtung und Position der Körper vom System korrekt verfolgt werden können. Das Verfolgen wird entweder durch Befestigen einer Verfolgungseinrichtung am Körper oder durch Einbauen der Verfolgungseinrichtung in den Körper bewerkstelligt. Es gibt zahlreiche Verfolgungstechniken, darunter aktive und passive optische Verfolgungssysteme, magnetische Systeme und Inertialsysteme.

Für viele Anwendungen ist es notwendig, Körper im Anwendungsbereich zu kalibrieren, so dass das Navigationssystem anschließend den Körper verfolgen und ihn rea listisch graphisch auf einem Computeranzeigegerät darstellen kann. Dies wird üblicherweise dadurch bewerkstelligt, dass die Verfolgungseinrichtung in einer festen Beziehung mit dem Körper verbunden und dann der Körper in eine Kalibrierungseinrichtung eingesetzt wird. Diese Einrichtungen können so einfach wie eine Referenzmarke in einer bekannten Beziehung zum Navigationssystem sein, oder es kann eine Einrichtung sein, die den Körper in eine vorbestimmte Haltung bezüglich des Navigationssystems zwingt, wobei sich die Spitze des Körpers in einer vorherbestimmten Position befindet. Gängige Verfolgungskalibrierung erfordert eine Art von physischem Kontakt zwischen dem Körper und der Kalibrierungseinrichtung.

In bestimmten Situationen kann es wünschenswert sein, den Kontakt mit anderen Vorrichtungen oder Körpern zu minimieren. Für eine chirurgische Operation beispielsweise erfordern die Sterilitätserfordernisse, dass der zu verwendende Körper steril ist und dass jeder Körper, den er in irgendeiner Weise berührt, ebenfalls steril ist. Dies macht es erforderlich, dass die Kalibrierungseinrichtung sterilisiert wird und dass die Kalibrierungseinrichtung innerhalb des sterilen Bereichs verbleibt. Da Platz bei einer chirurgischen Operation kostbar ist, kann dies ein Problem sein.

Zusätzlich müssen Körper, die Einsätze tragen, so wie Schraubenzieher, Bohrer, Implantateinsetzgeräte etc., jedes Mal neu kalibriert werden, wenn ein neuer Einsatz eingesetzt wird. Schließlich haben einige Geräte keine axiale Form, was dazu führt, dass diese Körper mit den bekannten Verfahren im Anwendungsbereich nur schwierig kalibriert werden konnten.

KURZER ABRISS DER ERFINDUNG

Gemäß einem Aspekt der Erfindung bestimmt ein System die Form und Ausrichtung eines Körpers relativ zu einer Verfolgungseinrichtung. Eine Erfassungseinrichtung erzeugt eine Serie von Darstellungen des Körpers. Eine Verfolgungseinrichtung, die in der Lage ist, von einem rechnergestützten Navigationssystem erfasst zu werden, ist dem Körper so zugeordnet, dass die Position des Körpers relativ zum rechnergestützten Navigationssystem lokalisiert ist. Das rechnergestützte Navigationssystem, welches über eine zentrale Verarbeitungseinheit verfügt, verarbeitet die Serie von Darstellungen des Körpers und die relative Lage des Körpers, um die Form und Ausrichtung des Körpers relativ zur Verfolgungseinrichtung zu bestimmen.

Gemäß einem weiteren Aspekt der Erfindung wird die Form und Ausrichtung eines Körpers relativ zu einem Strahler durch ein System bestimmt. Eine Erfassungseinrich tung erzeugt eine Serie von Darstellungen des Körpers. Ein Strahler, der in der Lage ist, von einem rechnergestützten Navigationssystem erfasst zu werden, ist dem Körper so zugeordnet, dass die Position des Körpers relativ zum rechnergestützten Navigationssystem lokalisiert ist. Das rechnergestützte Navigationssystem, welches über eine zentrale Verarbeitungseinheit verfügt, verarbeitet die Serie von Darstellungen des Körpers und die relative Lage des Körpers, um die Form und Ausrichtung des Körpers relativ zum Strahler zu bestimmen.

Gemäß einem weiteren Aspekt der Erfindung beinhaltet ein Verfahren zur Bestimmung der Form und Ausrichtung eines Körpers relativ zu einer Verfolgungseinrichtung mittels eines rechnergestützten Navigationssystems den Schritt des Erzeugens einer Serie von Darstellungen des Körpers und der anschließenden Verwendung dieser Darstellungen, um ein zusammengesetztes Hüllvolumen des Körpers zu bestimmen. Die Form des Körpers wird aus dem zusammengesetzten Hüllvolumen bestimmt. Eine Position und eine Ausrichtung des Körpers werden mittels einer dem Körper zugeordneten Verfolgungseinrichtung bestimmt, die mit dem rechnergestützten Navigationssystem kommuniziert.

Gemäß noch einem weiteren Aspekt der Erfindung beinhaltet ein Verfahren zur Bestimmung der Form und Ausrichtung eines Körpers mittels eines rechnergestützten Navigationssystems den Schritt des Erzeugens einer Serie von Darstellungen des Körpers aus wenigstens zwei Perspektiven. Ein zusammengesetztes Hüllvolumen wird aus der Serie von Darstellungen bestimmt und die Form des Körpers wird aus dem zusammengesetzten Hüllvolumen bestimmt. Die Position und Ausrichtung des Körpers werden aus der Form des Körpers und der Serie von Darstellungen des Körpers bestimmt.

KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung eines Ausführungsbeispiels der vorliegenden Erfindung;
2a ist eine schematische Ansicht eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
2b ist eine schematische Ansicht eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
2c ist eine schematische Ansicht eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
3 ist ein Flussdiagramm eines Verfahrens zur Bestimmung der Form gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 ist eine graphische Darstellung des Verfahrens zur Formbestimmung von 3;
5 ist eine schematische Ansicht eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
6 ist eine schematische Darstellung eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
7a ist eine perspektivische Ansicht eines bevorzugten Kalibrierungskörpers;
7b ist eine Vorderansicht des bevorzugten Kalibrierungskörpers von 7a;
7c ist eine Seitenansicht des bevorzugten Kalibrierungskörpers von 7a;
7d ist eine Draufsicht des bevorzugten Kalibrierungskörpers von 7a;
8 ist ein Flussdiagramm eines Kamerakalibrierungsprozesses;
9 ist eine schematische Darstellung eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
10 ist ein Flussdiagramm eines Verfahrens zur Bestimmung der Form gemäß dem in 9 dargestellten Ausführungsbeispiel der vorliegenden Erfindung; und
11 ist noch ein weiteres Ausführungsbeispiel der vorliegenden Erfindung.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
1 zeigt ein Ausführungsbeispiel eines Formcharakterisierungssystems 100, verwendbar zur Charakterisierung eines Körpers 102, welches einen Navigationsrechner 104, eine Positionsverfolgungseinrichtung 106, eine Vielzahl von Kameras 108-1 bis 108-M und eine Vielzahl von Hintergründen 110-1 bis 110-N beinhaltet. Das Formcharakterisierungssystem 100 ortet (oder lokalisiert) die Position und Ausrichtung des Körpers 102 im Raum bezüglich eines globalen Koordinatensystems 112, welches von dem Navigationsrechner 104 aufgestellt ist. Im Besonderen bestimmt das Formcharakterisierungssystem die Position und Ausrichtung der Körperachsen X_B 114, Y_B 116, und Z_B 118, welche auf den Körper 102 bezogen sind, bezüglich des globalen Koordinatensystems 112, welches vom Navigationsrechner 104 aufgestellt ist. Die Position und Ausrichtung der vom Formcharakterisierungssystem 100 bestimmten Körperachsen 114, 116 und 118 können als lineare Transformationsmatrix ausgedrückt werden, welche Punkte auf dem Körper 102 in dem durch die Körperachsen 114, 116 und 118 definierten lokalen Koordinatensystem auf Punkte im globalen Koordinatensystem 112 abbildet.
Die Positionsverfolgungseinrichtung 106 verfügt über ein lokales Koordinatensystem 120, und jede der Kameras 108-1 bis 108-M hat ihr eigenes lokales Koordinatensystem 122-1 bis 122-M. Für die Verwendung als Kameras 108-1 bis 108-M geeignete Einrichtungen beinhalten bekannte digitale Videokameras, digitale Standbildkameras, Bildaufnahmeeinrichtungen und Vergleichbares.
Die Positionsverfolgungseinrichtung 106 hat eine vorbestimmte und feste Beziehung zum Körper 102 und ist bezüglich des rechnergestützten Navigationssystems 104 kalibriert. Weiterhin ist die Positionsverfolgungseinrichtung 106 in der Lage, die Position eines festen Punktes 124 auf der Oberfläche des Körpers 102 bezüglich entweder des Koordinatensystems 120 der Positionsverfolgungseinrichtung 106 oder bezüglich des Koordinatensystems 112 des Navigationsrechners 104 zu verfolgen, weil die beiden Koordinatensysteme zueinander kalibriert sind. Das Kalibrieren der beiden Koordinatensysteme erlaubt es, jede Messung des Punktes 124 auf dem Körper 102 bezüglich des Koordinatensystems 120 der Positionsverfolgungseinrichtung 106 durch eine lineare Transformation auf das Koordinatensystem 112 des Navigationsrechners 104 abzubilden.
Die Positionsverfolgungseinrichtung 106 kann körperlich getrennt von dem Körper 102 sein oder alternativ hierzu kann die Positionsverfolgungseinrichtung 106 am Körper 102 befestigt oder andernfalls in den Körper 102 eingebaut sein und immer noch die erforderlichen Positionsinformationen bereitstellen. Der Punkt 124 kann sich an einer festen Position bezüglich der Positionsverfolgungseinrichtung 106 befinden oder durch ein unten beschriebenes Kalibrierungsverfahren bestimmt werden. Der Punkt 124 kann die Lage eines von der Positionsverfolgungseinrichtung 106 verwendeten Strahlers sein, wie unten beschrieben.
Die Positionsverfolgungseinrichtung 106 kann eine von zahlreichen Erfassungseinrichtungen sein, die dem Fachmann bekannt sind. 2A zeigt die Verwendung einer exemplarischen Positionsverfolgungseinrichtung 200, welche einen optischen Positionssensor 204 verwendet. Die Verfolgung eines Körpers mittels des optischen Positionssensors 204 beinhaltet das Platzieren eines Strahlers 206 auf dem Körper 102, wobei der Strahler 206 eine strahlende (sichtbare oder infrarote) Lichtquelle ist. Es können auch mehrere Strahler 206 in bekannten Konfigurationen an dem Körper 102 angebracht werden. Der optische Positionssensor 206 verwendet einen Lichtsensor 208, der abgestimmt ist, das von der Lichtquelle abgestrahlte Licht zu erfassen und die sich mit dem Körper 102 bewegende strahlende Lichtquelle 206 zu verfolgen. Eine Leuchtdiode (LED) ist eine typische strahlende Lichtquelle 206 und ein ladungsgekoppeltes Bauelement (CCD) ist ein typischer Lichtsensor 208. Das FlashPoint-System der Stryker Corporation (Kalamazoo, Michigan) ist ein Beispiel für die in 2a gezeigte optische Verfolgungseinrichtung.
2b zeigt die Verwendung einer anderen Art optischer Positionsverfolgungseinrichtung 210, welche eine andere Art eines optischen Positionssensors 212 benutzt. Die Verfolgung eines Körpers mit dieser alternativen optischen Positionsverfolgungseinrichtung 210 beinhaltet die Befestigung eines reflektierenden Körpers (beispielsweise eine Retroreflektors) 214 auf dem Körper 102. Eine strahlende Lichtquelle 216 ist bezüglich des reflektierenden Körpers 214 ausgerichtet, so dass ein von der strahlenden Lichtquelle 216 erzeugter Lichtstrahl 218 von dem reflektierenden Körper 214 so reflektiert wird, dass ein Lichtsensor 220 in dem optischen Positionssensor 212 ihn daraufhin erfassen und so die Position des sich mit dem Körper 102 bewegenden reflektierenden Körpers 214 verfolgen kann. Das Motus-System der Peak Performance Technologies, Inc. (Englewood, Coloardo) ist ein Hersteller von Positionsmesseinrichtungen wie in 2b gezeigt.
2c zeigt die Verwendung einer Positionsverfolgungseinrichtung 224, welche an dem Körper 102 befestigte Magnete 226 verwendet. Die Änderungen in der Richtung und Amplitude des magnetischen Flusses der Magnete 226, wenn sich die Magnete 226 mit dem Körper 102 bewegen, werden von dem magnetischen Positionssensor 228 erfasst und zur Bestimmung der Position der Magnete 226 verwendet. Beispiele für Hersteller dieses Typs einer Verfolgungstechnologie sind Polhemus Incorporated aus Colchester, Vermont und Ascension Technology Corporation of Burlington, Vermont.
Obwohl nur ein einziger Punkt 124 auf der Oberfläche des Körpers 102 als verfolgt dargestellt ist, um die Beschreibung zu vereinfachen, ist es offensichtlich, dass mehrere Verfolgungspunkte auf dem selben Körper 102 verfolgt werden können, wobei jeder einer Positionsverfolgungseinrichtung zugeordnet ist. Tatsächlich können mehrere Verfolgungspunkte nötig sein, um die vollständige Ausrichtung des Körpers 102 zu bestimmen. Mehrere Körper 102 können auch gleichzeitig durch ein einziges System verfolgt werden.
Wieder Bezug nehmend auf 1, identifiziert das Formcharakterisierungssystem die Ausrichtung der Achsen X_B, Y_B, und Z_B des Körpers 102, welche als Elemente mit den Nummern 114, 116 bzw. 118 bezeichnet sind, bezüglich des globalen Koordinatensystems 112, indem es ein Hüllvolumen des Körpers 102 näherungsweise ermittelt und die Achsen des Hüllvolumens bestimmt. Insbesondere kann eine interessierende Achse 114, 116 oder 118 des Körpers 102 durch eine Analyse des näherungsweise ermittelten Hüllvolumens bestimmt werden. Daraus folgt, dass die verbleibenden Achsen senkrecht auf der bestimmten Achse und aufeinander stehen. Falls erforderlich, kann die Ausrichtung der verbleibenden Achsen durch Analyse der Positionsinformationen die von der Verfolgungseinrichtung geliefert werden, und des näherungsweise ermittelten Hüllvolumens genauer bestimmt werden. Ein Punkt 124 von besonderem Interesse ist die Spitze 126 des Körpers 102. Die Spitze 126 kann koaxial mit der interessierenden Achse (beispielsweise der Körperachse X_B 114) oder an irgendeinem anderen, nicht auf der zu bestimmenden Achse liegenden Punkt lokalisiert sein.
Die Vielzahl von Kameras 108-1 bis 108-M, die um den Körper herum angeordnet ist, nimmt Bilder des Körpers aus unterschiedlichen Perspektiven auf. Diese Kameras 108-1 bis 108-M können entweder Standbildkameras oder Videokameras sein oder eine beliebige Kombination dieser beiden Kameratechnologien. Werden Videokameras verwendet, dann werden einzelne Frames der von der Videokamera erfassten Videodaten als einzelne Bilder verarbeitet. Vorzugsweise nehmen alle Kameras Frames annähernd gleichzeitig auf, so dass die Bilder von verschiedenen Betrachtungspunkten korreliert sind. Die Positionen und Koordinatensysteme 122-1 bis 122-M der Kameras 108-1 bis 108-M sind zueinander und zu dem vom Navigationsrechner 104 aufgestellten globalen Koordinatensystem 112 kalibriert. Ein bevorzugtes Ausführungsbeispiel des Kalibrierungsverfahrens der Kameras wird im Folgenden beschrieben. Bei dem bevorzugten Ausführungsbeispiel sind die Kameras 108-1 bis 108-M Standard-Videokameras mit Frameaufnahmeeinrichtungen in Desktop-PCs oder Firewire- und USB-basierte Kameras, welche im Stand der Technik wohlbekannt sind.
Feste Hintergründe 110-1 bis 110-N sind vorzugsweise um den Körper herum gegenüber den Kameras positioniert. Diese Hintergründe 110-1 bis 110-N bilden in den Bildern, die von den Kameras 108-1 bis 108-M aufgenommen werden, eine bekannte Einfassung, die hilft, die Kanten des Körpers 102 in dem Bild zu identifizieren. Die Hintergründe 110-1 bis 110-M können neutral, schwarz, weiß oder in irgendeiner Farbe ausgebildet sein, welche den Kontrast zwischen dem Teil des Bildes, welcher den Hintergrund 110-1 bis 110-M darstellt, und dem Teil des Bildes, der den Körper 102 darstellt, erhöht. Weiterhin können die Hintergründe von hinten beleuchtet sein, um diesen Kontrast weiter zu erhöhen. Es ist möglich, ein Ausführungsbeispiel des Verfahrens der vorliegenden Erfindung ohne feste Hintergründe durchzuführen. Dies ist jedoch wegen der erhöhten Komplexität der Formbestimmung aufgrund der Notwendigkeit, das Hintergrundbild vom Bild des Körpers 102 zu subtrahieren, nicht bevorzugt.
Der Navigationsrechner 104 verarbeitet die Bilder, die die Kameras 108-1 bis 108-M erfasst haben. Der Navigationsrechner 104 kann eine Körperdatenbank 130 verwenden, welche mit Forminformationen typischer Körper, die der Navigationsrechner 104 identifizieren müssen könnte, gefüllt ist. Die Forminformationen eines Körpers in der Körperdatenbank 130 bestehen vorzugsweise aus Koordinaten von Knotenpunkten (Vertices) des Körpers, wie sie typischerweise aus einem CAD-System verfügbar sind. Der Navigationsrechner 104 entwickelt eine oder mehrere Vergleichsmetriken, indem er das aus der Verarbeitung der Bilder der Kameras 108-1 bis 108-M näherungsweise ermittelte Hüllvolumen mit den Forminformationen, die in der Körperdatenbank 130 gespeichert sind, vergleicht. Stellen sich für die Forminformationen eines der in der Körperdatenbank 130 gespeicherten Körper heraus, dass diese stark mit dem näherungsweise ermittelten Hüllvolumen korrelieren, dann kann der Navigationsrechner die Forminformationen für den Körper verwenden, um das näherungsweise ermittelte Hüllvolumen zu verfeinern. Beispielsweise kann der Navigationsrechner eine Ver gleichsmetrik entwickeln, indem er Abstände zwischen jedem Knotenpunkt des näherungsweise ermittelten Hüllvolumens und einem korrespondierenden Knotenpunkt, der als Teil der Forminformationen für einen Körper in der Körperdatenbank 130 gespeichert ist, analysiert. Ein Beispiel einer weiteren Vergleichsmetrik, die entwickelt werden könnte, ist das Ergebnis des Analysierens der Eigenschaften der Trägheitsmomentachsen des näherungsweise ermittelten Hüllvolumens mit den Trägheitsmomentachsen eines Körpers in der Körperdatenbank 130. Zusätzliche Vergleichsmetriken sind den Fachleuten bekannt. Ein bevorzugtes Ausführungsbeispiel verwendet eine Vielzahl von Vergleichsmetriken, um den Grad der Korrelation zwischen dem näherungsweise ermittelten Hüllvolumen und einem in der Körperdatenbank 130 gespeicherten Körper zu bestimmen.
Es ist nicht notwendig, dass die Kameras 108-1 bis 108-M den gesamten Körper aufnehmen. Nur derjenige Teil des Körpers 102, der von Interesse ist, muss von den Kameras 108-1 bis 108-M aufgenommen werden. Weiterhin sind der Körper 102 und die Kameras 108-1 bis 108-M vorzugsweise bezüglich einander so positioniert, dass das Sichtfeld jeder Kamera näherungsweise die gleichen Teile des Körpers erfasst.
3 zeigt ein Flussdiagram 300 der Schritte, die für eine näherungsweise Ermittlung des Hüllvolumens aus den erfassten Bildern nötig sind. Jedes Bild 302-1 bis 302-M, welches von einer Kamera 108-1 bis 108-M aufgenommen wird, wird zunächst in den Blöcken 304-1 bis 304-M bereinigt. Dies bedeutet, dass das Bild um jede bekannte Unregelmäßigkeit der Linse korrigiert wird, bezüglich der bekannten Brennweite der verwendeten Linse normalisiert wird, an die Auflösung der Kamera angepasst wird, etc. Die Blöcke 306-1 bis 306-M verarbeiten das bereinigte Bild, welches die Blöcke 304-1 bis 304-M erzeugt haben, um die Darstellung des Körpers von der Darstellung des Hintergrundes in dem Bild heraus zu lösen. Die Blöcke 308-1 bis 308-M führen einen Kantenerkennungsvorgang bezüglich des in den Blöcken 306-1 bis 306-M herausgelösten Körpers durch. Die Blöcke 310-1 bis 310-M verwenden die von den Blöcken 308-1 bis 308-M erzeugten Kanteninformationen, um für den Körper eine allgemein K_j-seitige Hüllpyramide anzunähern, wobei 1 <= j <= M. Die auf diese Weise aus jedem der von den Kameras erfassten Bilder 301-1 bis 301-M errechneten Hüllpyramiden werden in einem Block 312 basierend auf der Aufnahmezeit des jeweiligen Bildes und der Lage der Kamera, wie von den Blöcken 314-1 bis 314-M bereitgestellt, normalisiert. Die Blöcke 314-1 bis 314-M schneiden weiterhin alle Hüllpyramiden miteinander zu einem Hüllvolumen des Körpers. Ein Block 316 kombiniert das näherungsweise ermittelte Hüllvolumen mit der von der Positionsverfolgungseinrichtung gelieferten Lage des Körpers, wie von Block 318 bereitgestellt, um die Posi tion und Ausrichtung des Körpers anzunähern. Hat der Navigationsrechner Zugriff auf eine Körperdatenbank 130, dann vergleicht Block 316 das Hüllvolumen mit den Forminformationen aller darin enthaltener Körper. Wird in der Körperdatenbank 130 ein Körper gefunden, der über Abmessungen und eine Form verfügt, welche innerhalb einer vorherbestimmten Toleranz bezüglich des Hüllvolumens liegen, dann verwendet der Navigationsrechner die Forminformationen für den Körper in der Körperdatenbank, um die Näherung für das Hüllvolumen zu verfeinern. Bei dem bevorzugten Ausführungsbeispiel erfassen die Kameras 108 fortwährend (oder so schnell wie die Kameras können) Bilder des Körpers 102, und während der Körper 102 gedreht wird, werden Hüllpyramiden von diesen zusätzlichen Bildern mit einem zuvor bestimmten Hüllvolumen geschnitten, um das angenäherte Hüllvolumen und die näherungsweise ermittelte Orientierung des Körpers 102 zu verfeinern.
4 zeigt ein Beispiel einer anfänglichen Näherung eines Hüllvolumens 400 des Körpers 102, welche durch Verwendung dreier Kameras 108-1, 108-2 und 108-3 erzeugt wurde. Das Hüllvolumen des Körpers 102 kann mittels eines beliebigen von einer Vielzahl wohlbekannter und für diese Bestimmung verfügbarer Verfahren ermittelt werden. Abhängig von der Anzahl der Kameras 108-1 bis 108-M oder der Ansichten einer einzelnen Kamera 108-1, beginnt sich, wie unten beschrieben, die Schnittmenge der kombinierten Hüllvolumina der Form des Körpers 102 anzunähern.
5 zeigt ein weiteres Ausführungsbeispiel des Formcharakterisierungssystems 500, bei dem eine Kamera 108 dazu verwendet wird, eine Vielzahl von Bildern des Körpers 102 zu erfassen, während sich der Körper 102 dreht und durch den Raum bewegt, beispielsweise entlang eines mit Pfeil R 502 bezeichneten Pfades. Die Blöcke 304 bis 318 aus 3 können sämtliche Bilder, die die Kamera 108 von dem Körper 102 erfasst, so verarbeiten, als hätte eine andere Kamera jedes Bild von einem anderen Beobachtungspunkt bezüglich des Körpers 102 aufgenommen.
6 zeigt noch ein weiteres Ausführungsbeispiel des Formcharakterisierungssystems 600, bei dem die Kamera 108 gleichzeitig ein Bild des Körpers 102 und der Reflektion des Körpers 102 in einem Spiegel 602 aufnimmt. Bei diesem Ausführungsbeispiel verarbeitet der Navigationsrechner 104 das von der Kamera 108 erfasste Bild, um das Bild in zwei Bilder aufzuteilen, wobei ein Bild das Bild des Körpers 102 enthält und das andere Bild das Bild der Reflektion des Körpers 102 in dem Spiegel 602 enthält. Im Endeffekt verhält sich der Spiegel 602 wie eine zweite, wenngleich virtuelle Kamera. Somit verarbeiten die Blöcke 302 bis 318 des in 3 dargestellten Flussdiagramms 300 das Bild der Reflektion des Körpers 102 in dem Spiegel 602, als wäre das Bild von einer separaten Kamera erfasst worden. In ähnlicher Weise könnte mehr als ein Spiegel 602 verwendet werden.
Ein Ausführungsbeispiel, um die Koordinatensysteme 122-1 bis 122-M der Kameras 108-1 bis 108-M des Formcharakterisierungssystems 100 bezüglich einander und bezüglich des Koordinatensystems 112 des rechnergestützten Navigationssystems zu kalibrieren, besteht in der Verwendung eines Kalibrierungskörpers mit einer genau bekannten Form. 7 zeigt ein Beispiel eines solchen Kalibrierungskörpers 700. 7a zeigt eine Vorderansicht des Kalibrierungskörpers 700. 7b eine Seitenansicht des Kalibrierungskörpers 700. 7c zeigt eine Draufsicht des Kalibrierungskörpers 700.
8 zeigt ein Flussdiagram 800 der zur Kalibrierung der Kameras erforderlichen Schritte. Die Blöcke 804-1 bis 804-M führen Bereinigung, Herauslösen des Körpers und Kantenerkennen in den von jeder der Kameras gelieferten Bildern 802-1 bis 802-M durch, wobei jedes Bild 802-1 bis 802-M ein Bild des Kalibrierungskörpers 700 aus einer bekannten Perspektive (zum Beispiel von vorne 702, von der Seite 704 und von oben 706) ist. Die Blöcke 806-1 bis 806-M liefern eine Näherung der Position und Ausrichtung jeder Kamera 108 und wenden auf den Positions- und Ausrichtungsnäherungen basierende Korrekturen auf die von den Blöcken 804-1 bis 804-M erzeugten Kanten an. Ein Block 808 vergleicht die von den Blöcken 806-1 bis 806-M korrigierten Kanten mit den bekannten Kanteninformationen von Perspektiven des Kalibrierungskörpers. Befinden sich die korrigierten Kanten innerhalb einer vorgegebenen Toleranz um die bekannten Kanten, dann gelten die Kameras als kalibriert und die von Block 806 erzeugten Positions- und Ausrichtungsinformationen können von dem Navigationsrechner 104 verwendet werden. Liegen die korrigierten Kanten außerhalb der vorgegebenen Toleranz um die bekannten Kanten, dann wird der Unterschied zwischen den korrigierten Kanten und den bekannten Kanten von einem Block 810 berechnet und dem Block 806 zur Verbesserung der Näherungen der Position und Ausrichtung jeder Kamera zur Verfügung gestellt. Die Blöcke 806, 808 und 810 werden wiederholt, bis jede der Kameras 108 kalibriert ist.
9 zeigt ein weiteres Ausführungsbeispiel des Formcharakterisierungssystems 900. Anstelle der Verwendung von Kameras 108-1 bis 108-M zur Erfassung von Bildern des Körpers 102 vor einem Hintergrund 110-1 bis 110-N verwendet dieses Ausführungsbeispiel Lichtquellen 902-1 bis 902-M, die bezüglich der Sensoren 904-1 bis 904-N positioniert sind. Die Positionen der Lichtquellen 902-1 bis 902-M und der Sensoren 904-1 bis 904-N befinden sich in einer vorherbestimmten festen Beziehung zueinander und sind dem Navigationsrechner 104 bekannt. Alternativ dazu verfolgt der Navigationsrechner 104 die Positionen aller Lichtquellen 902-1 bis 902-M und aller Sensoren 904-1 bis 904-N und kann Informationen von den Sensoren so umformen, dass sie äquivalent sind zu Informationen, die von einem System stammen, bei dem die Position der Lichtquellen 902-1 bis 902-M in einer festen Beziehung zu der Position der Sensoren 940-1 bis 904-N steht. Zusätzlich verfolgt der Navigationsrechner 104 Veränderungen in der Position entweder der Lichtquellen 902-1 bis 902-M oder der Sensoren 904-1 bis 904-N. Weiterhin sind die Lichtquellen 902-1 bis 902-M und die Sensoren 904-1 bis 904-N bezüglich einander und bezüglich des Körpers 102 so positioniert, dass der Körper 102 das Licht von jeder der Lichtquellen 902-1 bis 902-M verdeckt und einen Schatten auf einem der Sensoren 904-1 bis 904-N verursacht, der kolinear mit der Lichtquelle 902-1 bis 902-M und dem Körper 102 ist. Die Sensoren 904-1 bis 904-N sind zweidimensionale Erfassungseinrichtungen, die in der Lage sind, die Bereiche, die in dem Schatten 906-1 bis 906-N des Körpers 102 liegen, von denen zu unterscheiden, die dies nicht tun. Jeder der Sensoren 904-1 bis 904-N liefert Informationen über die in den Schatten 906-1 bis 906-N liegenden Bereiche an den Navigationsrechner 104. Nur die Schatten 906-1 bis 906-N desjenigen Teils des Körpers 102, der von Interesse ist, brauchen auf die Sensoren 904-1 bis 904-N zu fallen. Ein bevorzugter Sensortyp ist eine zweidimensionale Matrix ladungsgekoppelter Bauelemente (CCD). Solch eine CCD-Matrix stellt gewöhnlich ein Bild bereit, welches sich aus Pixeln zusammensetzt, wobei jedes Pixel einem CCD-Element der zweidimensionalen Matrix entspricht.
10 zeigt ein Flussdiagramm 925 der zum näherungsweisen Ermitteln des Hüllvolumens aus den von den Sensoren 904-1 bis 904-N generierten Bildern verwendeten Schritte. Jedes Bild 926-1 bis 926-N von jedem der Sensoren 904-1 bis 904-N wird zuerst von den Blöcken 928-1 bis 928-N bereinigt. Das bedeutet, dass die Blöcke 928-1 bis 928-N das Bild um jegliche bekannten Unregelmäßigkeiten der Linse korrigieren, die Schatteninformationen an die Auflösung des Sensors anpassen, etc. Die Blöcke 930-1 bis 930-N verarbeiten die von den Blöcken 928-1 bis 928-N erzeugten bereinigten Bilder, um die Teile der Bilder herauszulösen, die den Schlagschatten repräsentieren. Die Blöcke 932-1 bis 932-N führen einen Kantenerkennungsvorgang bezüglich der von den Blöcken 930-1 bis 930-N erzeugten Bilder der herausgelösten Schatten durch. Die Blöcke 934-1 bis 934-N verwenden die von den Blöcken 932-1 bis 932-N erzeugten Kanteninformationen, um eine allgemein N-seitige Hüllpyramide für den Körper näherungsweise zu ermitteln. Die Hüllpyramiden, die auf diese Weise aus jedem der von den Sensoren erzeugten Bilder 926-1 bis 926-N berechnet wurden, werden von einem Block 936 basierend auf der Zeit der Erfassung dieses Bildes und der Lage der Kamera, wie von den Blöcken 938-1 bis 938-N bereitgestellt, normalisiert. Der Block 936 schneidet dann jede der Hüllpyramiden miteinander zu einem näherungsweisen Hüllvolumen des Körpers. Ein Block 940 kombiniert das näherungsweise ermittelte Hüllvolumen mit der von Block 942 bereitgestellten Lage des Körpers aus der Positionsverfolgungseinrichtung, um die Position und Ausrichtung des Körpers näherungsweise zu bestimmen. Der Block 940 verwendet Forminformationen aus der Körperdatenbank, falls diese verfügbar ist. Wird insbesondere ein Körper in der Körperdatenbank 130 gefunden, welcher über Abmessungen und eine Form verfügt, die innerhalb einer vorbestimmten Toleranz bezüglich des Hüllvolumens liegt, dann wird der Navigationsrechner 104 die Forminformationen für den Körper in der Körperdatenbank verwenden, um die Näherung des Hüllvolumens zu verfeinern. Bei dem bevorzugten Ausführungsbeispiel erzeugen die Sensoren 904-1 bis 904-N fortwährend (oder so schnell wie die Sensoren können) Darstellungen der Schatten 906-1 bis 906-N des Körpers 102, und während der Körper 102 gedreht wird, werden Hüllpyramiden von diesen zusätzlichen Darstellungen mit einem zuvor berechneten Hüllvolumen geschnitten, um die Näherung des Hüllvolumens und die Näherung der Ausrichtung des Körpers 102 zu verfeinern.
11 zeigt ein weiteres Ausführungsbeispiel des Formcharakterisierungssystems 950, bei dem ein Sensor 904 verwendet wird, um eine Vielzahl von Bildern mit Darstellungen eines Schattens 906 des Körpers 102 zu erzeugen, während der Körper 102 beispielsweise entlang eines Pfades mit der Bezeichnung R 502 durch den Raum bewegt wird, während er von einer (1) Lichtquelle 902 beleuchtet wird. Die Blöcke 928 bis 940 in 10 können jedes der von dem Sensor 904 erzeugten Bilder des Körpers 102 so verarbeiten, als wäre jedes Bild von einem anderen Sensor erzeugt worden.
Die schattenaufnehmenden Einrichtungen können mittels eines Körpers von bekannter Form und Größe kalibriert werden. Ein repräsentativer Körper 700, der zur Kalibrierung verwendet werden kann, ist in 7a dargestellt, und die Verwendung dieses Körpers zur Kalibrierung von schattenaufnehmenden Einrichtungen entspricht dem oben beschriebenen Prozess zur Kalibrierung der Kameras, mit dem Unterschied, dass anstatt von Bildern der Kameras 108 Bilder der schattenaufnehmenden Einrichtungen 906-1 bis 906-N verwendet werden.
Die Algorithmen, die zur näherungsweisen Ermittlung der Form des Körpers 102 verwendet werden, können beliebige der wohlbekannten und auf dem Gebiet der Computergraphik verwendeten sein. Solche Algorithmen sind in auf dem Gebiet ver wendeten Publikationen beschrieben wie Computer Graphics. Principles and Practise von James D. Foley, et al (Addison-Wesley, 1990), welches hiermit durch Inbezugnahme einbezogen wird. Ausgehend von der bestimmten Form des Körpers 102 kann das System anschließend die Lage der Spitze 126 bestimmen.
Werden wenigstens zwei Erfassungseinrichtungen (entweder Kameras 108 oder schattenaufnehmende Einrichtungen 904) verwendet, dann sind der Strahler 124 und das Positionsverfolgungssystem 106 nicht erforderlich, weil das Bild des Körpers (oder der Schatten des Körpers) schon einer der mehreren Einrichtungen Informationen über die relative Position des Körpers 102 bezüglich der anderen Einrichtungen bereitstellt. Diese Informationen können verwendet werden, um die Position des Körpers 102 bezüglich des Koordinatensystems 112 des Navigationsrechners 104 beispielsweise daraus abzuleiten, dass mehrere homologe Punktepaare in mindestens zwei Kameraansichten des Körpers 102 stereographisch bestimmt werden. Dies ist der Fall, da die Position der Erfassungseinrichtungen (entweder 108 oder 904) bezüglich des Koordinatensystems 112 des Navigationsrechners 104 bekannt ist und während des Betriebes des Formcharakterisierungssystems verfolgt wird und eine lineare Transformation verwendet werden kann, um zwischen den Koordinatensystemen der Erfassungseinrichtung 108 oder 904 und dem des Navigationsrechners 104 abzubilden.
Zusätzlich kann der realistische Eindruck des Körpers 102, während er auf einem Anzeigemonitor dargestellt wird, weiter verbessert werden, indem Farbgebung und/oder Textur optional mit bekannten Verfahren erschaffen werden. In diesem Fall können eine oder mehrere Lichtquellen 128 optional simuliert werden, um die auf einem Computergraphikschirm dargestellte Ansicht des Körpers 102 zu schattieren.

Claims

System zur Bestimmung der Form und Ausrichtung eines Körpers, umfassend: – ein rechnergestütztes Navigationssystem; – eine Erfassungseinrichtung, die in der Lage ist, eine Serie von Darstellungen des Körpers zu erzeugen; – eine Verfolgungseinrichtung, die mit dem Körper in einer festen Beziehung steht, wobei die Verfolgungseinrichtung von dem rechnergestützten Navigationssystem erfasst werden kann, um den Körper relativ zum rechnergestützten Navigationssystem zu lokalisieren; und – wobei das rechnergestützte Navigationssystem eine zentrale Verarbeitungseinheit besitzt, die die Serie von Darstellungen und eine relative Lage des Körpers zum rechnergestützten Navigationssystem verarbeiten kann, um die Form und Ausrichtung des Körpers relativ zur Verfolgungseinrichtung zu bestimmen.
System gemäß Anspruch 1, wobei die Erfassungseinrichtung mehrere digitale Kameras beinhaltet und jede Darstellung ein von der Kamera erfasstes Bild ist.
System gemäß Anspruch 2, wobei die Erfassungseinrichtung eine Videokamera ist und die Darstellung ein von der Videokamera erfasster Video-Frame ist.
System gemäß Anspruch 1, wobei die Erfassungseinrichtung den vom Körper geworfenen Schatten bestimmt und die Darstellung ein Bild des Schattens ist.
System gemäß Anspruch 2, wobei das System darüber hinaus einen festen Hintergrund beinhaltet.
System gemäß Anspruch 1, wobei die Verfolgungseinrichtung ein optisches Verfolgungssystem ist.
System gemäß Anspruch 6, wobei die Verfolgungseinrichtung einen aktiven Strahler beinhaltet, der dem Körper zugeordnet ist.
System gemäß Anspruch 6, wobei die Verfolgungseinrichtung Leuchtdioden beinhaltet.
System gemäß Anspruch 1, wobei die Verfolgungseinrichtung eine nichtoptische Verfolgungseinrichtung ist.
System gemäß Anspruch 9, wobei die Verfolgungseinrichtung eine magnetische Verfolgungseinrichtung ist.
System gemäß Anspruch 1, wobei die Verfolgungseinrichtung fest am Körper befestigt ist.
System gemäß Anspruch 1, wobei die Verfolgungseinrichtung in den Körper eingebaut ist.
System gemäß Anspruch 1, wobei die Erfassungseinrichtung eine einzelne Kamera ist, welche mehrere Bilder erfasst, während der Körper relativ zur Kamera bewegt wird, und jede Darstellungen ein von der Kamera erfasstes Bild ist.
System gemäß Anspruch 4, wobei die Erfassungseinrichtung eine Matrix von ladungsgekoppelten Bauelementen ist, welche die Bewegung des vom Körper geworfenen Schattens bestimmt, während der Körper relativ zur Erfassungseinrichtung bewegt wird.
System gemäß Anspruch 1, wobei das rechnergestützte Navigationssystem basierend auf der ermittelten Form und Ausrichtung des Körpers die Position eines charakteristischen Punktes auf dem Körper verfolgt.
System gemäß Anspruch 1, wobei der Navigationsrechner eine Näherung der Form des Körpers mit einem Modell des Körpers, welches aus einer Vielzahl von Modellen, die in dem Navigationsrechner gespeichert sind, ausgewählt ist, vergleicht.
System zur Bestimmung der Form und Ausrichtung eines Körpers, umfassend: – ein rechnergestütztes Navigationssystem; – eine Erfassungseinrichtung, die in der Lage ist, eine Serie von Darstellungen des Körpers basierend auf einer relativen Bewegung zwischen dem Körper und der Erfassungseinrichtung zu erzeugen; – einen Strahler, der mit dem Körper in einer festen Beziehung steht, wobei der Strahler in der Lage ist, vom rechnergestützten Navigationssystem erfasst zu werden, um den Körper relativ zum rechnergestützten Navigationssystem zu lokalisieren; und – wobei das rechnergestützte Navigationssystem eine zentrale Verarbeitungseinheit besitzt, welche die Serie von Bildern und eine relative Lage des Körpers zum rechnergestützten Navigationssystem verarbeiten kann, um die Form und Ausrichtung des Körpers relativ zum Strahler zu bestimmen.
System gemäß Anspruch 17, wobei die Erfassungseinrichtung mehrere digitale Videokameras beinhaltet.
System gemäß Anspruch 18, wobei das System darüber hinaus einen festen Hintergrund beinhaltet.
System gemäß Anspruch 17, wobei die Verfolgungseinrichtung ein optisches Verfolgungssystem ist.
System gemäß Anspruch 20, wobei die Verfolgungseinrichtung einen aktiven Strahler beinhaltet, der dem Körper zugeordnet ist.
System gemäß Anspruch 20, wobei die Verfolgungseinrichtung Leuchtdioden beinhaltet.
System gemäß Anspruch 17, wobei die Verfolgungseinrichtung eine nichtoptische Verfolgungseinrichtung ist.
System gemäß Anspruch 23, wobei die Verfolgungseinrichtung eine magnetische Verfolgungseinrichtung ist.
System gemäß Anspruch 17, wobei die Verfolgungseinrichtung fest am Körper befestigt ist.
System gemäß Anspruch 17, wobei die Verfolgungseinrichtung in den Körper eingebaut ist.
System gemäß Anspruch 17, wobei die Erfassungseinrichtung eine einzelne Kamera ist und jede Darstellung ein von der Kamera erfasstes Bild des Körpers ist.
System gemäß Anspruch 17, wobei die Erfassungseinrichtung einen von dem Körper geworfenen Schatten bestimmt.
System gemäß Anspruch 1, wobei das rechnergestützte Navigationssystem basierend auf der ermittelten Form und Ausrichtung des Körpers die Position eines charakteristischen Punktes auf dem Körper verfolgt.
System gemäß Anspruch 17, wobei der Navigationsrechner eine Näherung der Form des Körpers mit einem Modell des Körpers, welches aus einer Vielzahl von Modellen, die in dem Navigationsrechner gespeichert sind, ausgewählt ist, vergleicht.
Verfahren zur Bestimmung der Form eines Körpers mittels eines rechnergestützten Navigationssystems, wobei das Verfahren folgende Schritte umfasst: – Erzeugen einer Serie von Darstellungen des Körpers; – Bestimmen eines zusammengesetzten Hüllvolumens des Körpers aus der Serie von Darstellungen; – Bestimmen der Form des Körpers aus dem zusammengesetzten Hüllvolumen; – Bestimmen einer Position und einer Ausrichtung des Körpers mittels einer dem Körper zugeordneten Verfolgungseinrichtung, die mit dem rechnergestützten Navigationssystem kommuniziert.
Verfahren von Anspruch 31, wobei das Verfahren das Kalibrieren des Körpers bezüglich des rechnergestützten Navigationssystems beinhaltet, so dass das rechnergestützte Navigationssystem sowohl die Position als auch die Ausrichtung des Körpers verfolgen kann.
Verfahren von Anspruch 31, wobei der Erzeugungsschritt mittels einer Videokamera durchgeführt wird und jede Darstellung ein Video-Frame von einer Videokamera ist.
Verfahren von Anspruch 31, wobei der Erzeugungsschritt durch Bestimmen des Schattens, welchen der Körper wirft, durchgeführt wird und jede Darstellung ein Bild des Schattens ist.
Verfahren von Anspruch 31, wobei die Verfolgungseinrichtung eine optische Verfolgungseinrichtung ist.
Verfahren von Anspruch 31, wobei die Verfolgungseinrichtung einen dem Körper zugeordneten aktiven Strahler beinhaltet.
Verfahren von Anspruch 35, wobei die Verfolgungseinrichtung Leuchtdioden beinhaltet.
Verfahren von Anspruch 31, wobei die Verfolgungseinrichtung eine nichtoptische Verfolgungseinrichtung ist.
Verfahren von Anspruch 38, wobei die Verfolgungseinrichtung eine magnetische Verfolgungseinrichtung ist.
Verfahren von Anspruch 31, wobei die Verfolgungseinrichtung fest am Körper befestigt ist.
Verfahren von Anspruch 31, wobei die Verfolgungseinrichtung in den Körper eingebaut ist.
Verfahren von Anspruch 31, wobei der Erzeugungsschritt mittels einer einzelnen Kamera, die mehrere Bilder erfasst, während der Körper relativ zur Kamera bewegt wird, durchgeführt wird.
System von Anspruch 31, wobei das rechnergestützte Navigationssystem basierend auf der ermittelten Form und Ausrichtung des Körpers die Position eines charakteristischen Punktes auf dem Körper verfolgt.
System von Anspruch 31, wobei der Bestimmungsschritt ein Vergleichen einer Näherung der Form des Körpers mit einem Modell des Körpers, welches aus einer Vielzahl von Modellen, welche in dem Navigationsrechner gespeichert sind, ausgewählt ist, beinhaltet.
Verfahren zur Bestimmung der Form und Ausrichtung eines Körpers mittels eines rechnergestützten Navigationssystems, wobei das Verfahren folgende Schritte umfasst: – Erzeugen einer Serie von Darstellungen des Körpers aus wenigstens zwei Perspektiven; – Bestimmen eines zusammengesetzten Hüllvolumens des Körpers aus der Serie von Darstellungen; – Bestimmen der Form des Körpers aus dem zusammengesetzten Hüllvolumen; und – Bestimmen der Position und Ausrichtung des Körpers aus der Form des Körpers und der Serie von Darstellungen des Körpers.
Verfahren von Anspruch 39, wobei der Erzeugungsschritt mittels wenigstens zweier Videokameras durchgeführt wird und jede Darstellung ein Video-Frame von jeder Videokamera ist.
Verfahren von Anspruch 39, wobei der Erzeugungsschritt durch Bestimmen wenigstens zweier Schatten, die von dem Körper geworfen werden, durchgeführt wird und jede Darstellung ein Bild des Schattens ist.
System von Anspruch 39, wobei der Erzeugungsschritt ein Vergleichen einer Näherung der Form des Körpers mit einem Modell des Körpers, welches aus einer Mehrzahl von Modellen, welche in dem Navigationsrechner gespeichert sind, ausgewählt ist, beinhaltet.