-
Die Erfindung betrifft eine medizintechnische strahlungsbasierte Koordinatenmessvorrichtung, umfassend eine erste Bildsensoreinheit und eine zweite Bildsensoreinheit zum Bereitstellen eines ersten Helligkeitsbilddatensatzes bzw. eines zweiten Helligkeitsbilddatensatzes sowie eine Datenverarbeitungseinheit zum Ermitteln der Objektkoordinaten von mittels elektromagnetischer Strahlung abbildbaren Objektpunkten im Raum durch Triangulation aus den Helligkeitsbilddatensätzen.
-
Außerdem betrifft die Erfindung ein medizintechnisches strahlungsbasiertes Koordinatenmessverfahren unter Einsatz einer derartigen Koordinatenmessvorrichtung.
-
Eine Koordinatenmessvorrichtung der eingangs genannten Art wird beispielsweise während eines navigationsunterstützten chirurgischen Eingriffes eingesetzt. Dabei ist das Ziel, die Koordinaten (Lage) und die Orientierung von Objektpunkten zueinander zu ermitteln. Zeitabhängig können Änderungen der Koordinaten und der Orientierung ermittelt und dadurch die Objektpunkte im Raum verfolgt (getrackt) werden. Bekannt ist es, mittels einer chirurgischen Markiereinrichtung, die an einem Patienten festgelegt ist, ein Referenzkoordinatensystem zu definieren. Die Markiereinrichtung weist zu diesem Zweck selbstleuchtende oder reflektierende Markierelemente auf, die von der Koordinatenmessvorrichtung besonders gut erfasst und verfolgt werden können. Derartige Trackingverfahren bewähren sich in der Praxis, jedoch sind die Anforderungen an die Abbildungen der Markierelemente nicht unbeträchtlich, und es besteht eine Beschränkung auf eine vergleichsweise geringe Zahl von Objektpunkten. Darüber hinaus bestehen auf Seiten der Patienten oder Operateure Vorbehalte gegen den Einsatz von Markiereinrichtungen, weil diese in der Regel invasiv an einem Knochen des Patienten festzulegen sind. Allerdings existieren Vorschläge zur Ausgestaltung nicht-invasiver Markiereinrichtungen, wie sie beispielsweise in der
DE 10 2013 112 375 A1 oder in der
DE 10 2014 104 800 A1 beschrieben sind.
-
Wünschenswert wäre es, dass bei medizintechnischen Koordinatenmessverfahren eine Vielzahl von Objektpunkten, gewissermaßen ein flächiges Objekt, gleichzeitig verfolgt werden könnten/könnte, um den Informationsgehalt des Trackingverfahrens zu steigern und nach Möglichkeit ohne gesonderte Markiereinrichtung auszukommen.
-
Bei gattungsgemäßen medizintechnischen Koordinatenmessvorrichtungen mit einem Stereo-Kamerasystem kann anhand eines jeweiligen, eine Helligkeitsoder Intensitätsinformation umfassenden Helligkeitsbilddatensatzes eine jeweilige Richtung zu Objektpunkten ermittelt werden. Durch einen sogenannten "räumlichen Vorwärtsschnitt" werden bei der Triangulation die beiden Richtungen überlagert, um die Lage des Objektpunktes im Raum festzustellen. Selbst dann, wenn die Bildsensoreinheiten ein vergleichsweise hohes Auflösungsvermögen besitzen, kann es dabei zu Mehrdeutigkeiten bei der Deutung der Lage der Objektpunkte kommen (sogenannte "Ghost Points"). Auch aus diesem Grund ist die Verwendung von Stereo-Koordinatenmessvorrichtungen ohne den Einsatz von Markiereinrichtungen beschränkt, die zur Behebung des vorstehend genannten Problems redundante Markierelemente aufweisen.
-
Aufgabe der vorliegenden Erfindung ist es, eine gattungsgemäße Koordinatenmessvorrichtung und ein Koordinatenmessverfahren bereitzustellen, mit der bzw. dem eine zuverlässigere Bestimmung der Objektkoordinaten möglich ist.
-
Diese Aufgabe wird bei einer gattungsgemäßen Koordinatenmessvorrichtung erfindungsgemäß dadurch gelöst, dass die Koordinatenmessvorrichtung mindestens eine Abstandsmesseinheit für die Objektpunkte umfasst zum Bereitstellen mindestens eines Abstandsdatensatzes, und dass die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie vor der Triangulation zumindest dem ersten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt.
-
In die Erfindung fließt die Überlegung mit ein, dass Mehrdeutigkeiten bei der Ermittlung der Koordinaten der Objektpunkte vermieden und die Genauigkeit erhöht werden können, wenn zusätzlich zu den Helligkeitsbilddatensätzen weitere Informationen bereitgestellt werden. Zu diesem Zweck wird mittels mindestens einer Abstandsmesseinheit mindestens ein Abstandsdatensatz bereitgestellt. Die Datenverarbeitungseinheit kann anhand des mindestens einen Abstandsdatensatzes zumindest den ersten Helligkeitsbilddatensatz ergänzen und um eine räumliche Tiefeninformation erweitern. Der ursprüngliche erste Helligkeitsbilddatensatz enthält mit hoher Genauigkeit eine Angabe über die jeweilige Richtung von Objektpunkten ausgehend von der ersten Bildsensoreinheit. Durch die zusätzliche Abstandsinformation aus dem mindestens einen Abstandsdatensatz kann die Lage des Objektpunktes bereits näherungsweise bestimmt werden. Insbesondere können Mehrdeutigkeiten ausgeschlossen werden, bevor sie auftreten. Zusätzlich zur Information über die Richtung der Objektpunkte liegt eine Abstandsinformation vor, d.h. für jeden Objektpunkt ein Richtungsvektor und eine Information über dessen Länge. Bei der anschließenden Triangulation ergibt sich im Ergebnis unter Einsatz der erfindungsgemäßen Koordinatenmessvorrichtung eine höhere Genauigkeit bei der Ermittlung der Lage der Objektpunkte als bei der gattungsgemäßen Koordinatenmessvorrichtung. Entsprechend zu den vorstehenden Überlegungen erlaubt es der erste Helligkeitsbilddatensatz, etwaige Einschränkungen der Aussagekraft des Abstandsdatensatzes zu vermeiden und Fehlbestimmungen der Objektpunkte auszuschließen, bevor sie entstehen. Bei einer Abstandsmessung können Einschränkungen mit sich daraus ergebenden Messfehlern bei Kantenverläufen auftreten, die sich durch die zusätzliche Information des ersten Helligkeitsbilddatensatzes beheben lassen.
-
Ebenso wie die Bildsensoreinheiten in definierter räumlicher Beziehung zueinander stehen kann die mindestens eine Abstandseinheit vorzugsweise in definierter räumlicher Beziehung zu den Bildsensoreinheiten positioniert sein. Anhand der Relativorientierung ist es der Datenverarbeitungseinheit möglich, Bildbereiche in den Helligkeitsbilddatensätzen einander zuzuordnen bzw. Bildbereiche in den Helligkeitsbilddatensätzen einem Bereich im Abstandsdatensatz zuzuordnen.
-
Vorteilhafterweise ist die Datenverarbeitungseinheit derart ausgebildet und programmiert, dass sie vor der Triangulation dem zweiten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt. Entsprechend wie beim ersten Helligkeitsbilddatensatz kann die Datenverarbeitungseinheit den zweiten Helligkeitsbilddatensatz um die zusätzliche Abstandsinformation erweitern. Für die Objektpunkte liegen jeweilige Richtungsvektoren sowie Informationen über deren Längen vor, basierend auf einem jeweiligen Helligkeitsbilddatensatz, erweitert um eine Abstandsinformation. Die Genauigkeit der Bestimmung der Lage der Objektpunkte kann dadurch erhöht werden.
-
Alternativ kann vorgesehen sein, dass die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie den um die Abstandsinformation ergänzten ersten Helligkeitsbilddatensatz mit dem zweiten Helligkeitsbilddatensatz trianguliert.
-
Von Vorteil ist es, wenn die mindestens eine Abstandsmesseinheit eine Time-of-Flight(TOF)-Messeinheit ist oder umfasst, die den Abstandsdatensatz anhand eines Lichtlaufzeitverfahrens erstellt. Die TOF-Messeinheit umfasst beispielsweise einen PMD-Sensor (Photonic Mixing Device) der zumindest eine Abstandsinformation über einen Abstandsdatensatz bereitstellt. Die Abstandsinformation stammt aus einer Laufzeitmessung für Licht, das zum Beleuchten der Objektpunkte eingesetzt wird, von diesen reflektiert und vom PMD-Sensor detektiert wird. Die Distanz eines Objektpunktes zum PMD-Sensor ist proportional zur Laufzeit des Lichtes, so dass anhand der Laufzeit die Abstandsinformation erstellt werden kann.
-
Die TOF-Messeinheit kann, insbesondere über den PMD-Sensor, zusätzlich zum Abstandsdatensatz einen Helligkeitsbilddatensatz bereitstellen. Darauf wird nachfolgend noch eingegangen.
-
Die Time-of-Flight(TOF)-Messeinheit weist vorzugsweise eine Beleuchtungseinheit zum Beleuchten der Objektpunkte mit Licht eines Spektralbereiches auf, der sich von einem Spektralbereich unterscheidet, auf den die Bildsensoreinheiten sensitiv sind. Mittels der Beleuchtungseinheit kann Licht eines gewissen Spektralbereiches emittiert werden, das nach Reflexion am Objekt vom PMD-Sensor detektiert wird. Die Nutzung eines unterschiedlichen Spektralbereiches in den Bildsensoreinheiten bietet den Vorteil, dass TOF-Messeinheit nicht durch eine etwaige Beleuchtung für die Bildsensoreinheiten gestört wird und diese nicht durch das Licht der Beleuchtungseinheit gestört werden. Die Genauigkeit der Messungen in den Bilddatensätzen und im Abstandsdatensatz kann dadurch gesteigert werden.
-
Es kann vorgesehen sein, dass eine von den Bildsensoreinheiten räumlich getrennte Abstandsmesseinheit vorgesehen ist, insbesondere eine Time-of-Flight-(TOF)-Messeinheit. Bei einer derartigen Vorrichtung kann vorgesehen sein, dass die Bildsensoreinheiten in Stereoanordnung positioniert sind und eine räumlich getrennte Abstandsmesseinheit und insbesondere TOF-Messeinheit vorgesehen ist, die einen Abstandsdatensatz bereitstellt.
-
Als vorteilhaft erweist es sich, wenn die Koordinatenmessvorrichtung mindestens eine kombinierte Bildsensor-Abstandsmesseinheit umfasst, die eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of-Flight(TOF)-Messeinheit, und wenn die dem Helligkeitsbilddatensatz unter Zugrundelegung des Abstandsbilddatensatzes die Abstandsinformation hinzugefügt wird. Dementsprechend kann eine kombinierte Einheit vorgesehen sein, die sowohl einen Helligkeitsbilddatensatz als auch einen Abstandsdatensatz liefert, um den Helligkeitsbilddatensatz vor der Triangulation um eine Abstandsinformation zu erweitern. Auf diese Weise kann die Koordinatenmessvorrichtung mit lediglich zwei Einheiten auskommen, nämlich es reicht eine kombinierte Bildsensor-Abstandsmesseinheit und eine weitere Einheit, die zumindest einen weiteren Helligkeitsbilddatensatz bereitstellt.
-
Bei einer vorteilhaften Ausführungsform der Koordinatenmessvorrichtung ist günstigerweise vorgesehen, dass diese zwei kombinierte Bildsensor-Abstandsmesseinheiten umfasst, die insbesondere Time-of-Flight(TOF)-Messeinheiten ausbilden, und dass dem jeweiligen Helligkeitsbilddatensatz unter Zugrundelegung des jeweiligen Abstandsdatensatzes die jeweilige Abstandsinformation hinzugefügt wird. Die Triangulation kann dabei auf Datensätzen von zwei Abstandsmesseinheiten und insbesondere TOF-Messeinheiten beruhen mit einem jeweiligen Abstandsdatensatz und einem jeweiligen Helligkeitsbilddatensatz. Diese werden beispielsweise von PMD-Sensoren bereitgestellt. Eine gesonderte Abstandsmesseinheit kann dadurch eingespart werden.
-
Die Datenverarbeitungseinheit kann derart ausgebildet und programmiert sein, dass sie Bildpunkte im Helligkeitsbilddatensatz der kombinierten Bildsensor-Abstandsmesseinheit mit Bildpunkten im Helligkeitsbilddatensatz der zweiten Bildsensoreinheit identifiziert. Abbildungen von Objektpunkten können dadurch über eine Helligkeitsanalyse eines jeweiligen Helligkeitsbilddatensatzes der Bildsensoreinheiten und des Helligkeitsbilddatensatzes der Abstandsmesseinheit erkannt und einander zugeordnet werden. Dies erlaubt es, durch redundante Informationen die Genauigkeit zu steigern, mit der Signalbeiträge in den Helligkeitsbilddatensätzen mit der aus dem mindestens einen Abstandsdatensatz stammenden Abstandsinformation versehen werden.
-
Bevorzugt ist die Datenverarbeitungseinheit derart ausgebildet und programmiert, dass sie den ersten Helligkeitsbilddatensatz, den zweiten Helligkeitsbilddatensatz und/oder den mindestens einen Abstandsdatensatz in Echtzeit verarbeitet, um die Lage der Objektpunkte im Raum in Echtzeit zu ermitteln.
-
Es kann vorgesehen sein, dass die erste Bildsensoreinheit und die zweite Bildsensoreinheit einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Helligkeitsbilddatensatz liefern. Jedem Bildsensorbereich kann eine eigene Optik zugeordnet sein, über die die Objektpunkte auf den Bildsensorbereich abgebildet werden.
-
In entsprechenderweise kann vorgesehen sein, dass zwei Abstandsmesseinheiten einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Abstandsdatensatz liefern. Jedem Bildsensorbereich kann bei einer beispielhaften Ausführungsform eine eigene Optik zugeordnet sein, über die die Objektpunkte auf dem Bildsensorbereich abgebildet werden.
-
Günstigerweise ist ein Auflösungsvermögen von optischen Sensoren der Bildsensoreinheiten und/oder von Abstandsmesseinheiten identisch.
-
Von Vorteil ist es, wenn zwei oder mehr Bildsensoreinheiten und/oder zwei oder mehr Abstandsmesseinheiten identisch ausgestaltet sind.
-
Günstig ist es, wenn die Bildsensoreinheiten und/oder die Abstandsmesseinheit in zumindest einem der folgenden Spektralbereiche zumindest über einen vorgebbaren oder vorgegebenen Wellenlängenbereich sensitiv sind:
- – Infrarot;
- – sichtbares Licht;
- – Ultraviolett.
-
Vorteilhafterweise umfasst die Koordinatenmessvorrichtung mehr als zwei Bildsensoreinheiten, wobei mit einer jeweiligen Bildsensoreinheit ein Helligkeitsbilddatensatz erstellbar ist. Ein jeweiliger Bilddatensatz kann vor der Triangulation von der Datenverarbeitungseinheit unter Zugrundelegung des mindestens einen Abstandsdatensatzes um die Abstandsinformation ergänzt werden. Dabei kann insbesondere vorgesehen sein, dass die mehr als zwei Einheiten kombinierte Bildsensor-Abstandsmesseinheiten insbesondere umfassend eine TOF-Messeinheit sind.
-
Von Vorteil ist es, wenn die Koordinatenmessvorrichtung eine Speichereinheit umfasst, die mit der Datenverarbeitungseinheit gekoppelt oder in diese integriert sein kann. In der Speichereinheit sind vorzugsweise Merkmale beobachtbarer Objektpunkte gespeichert, wobei die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie diese Merkmale bei der Identifikation und Verfolgung der Objektpunkte heranzieht. Anhand der gespeicherten Merkmale kann die Datenverarbeitungseinheit die Objektpunkte einfacher in den Datensätzen identifizieren. Dies erleichtert auch das Tracken der Objektpunkte. Die Merkmale können gewissermaßen als Zwangsbedingung für die oder als notwendige Eigenschaft der Objektpunkte angesehen werden.
-
Beispiele für Merkmale beobachtbarer Objektpunkte, die in der Speichereinheit gespeichert sind, sind deren relative Lage, deren Form, deren Helligkeit und/oder deren spektrale Empfindlichkeit.
-
Die Merkmale können zumindest eines der Folgenden betreffen:
- – die Anatomie eines Patienten;
- – ein medizinisches Instrument;
- – ein Implantat.
-
Bei der Anatomie des Patienten, dem Instrument und/oder dem Implantat wird bevorzugt dank in der Datenverarbeitungseinheit hinterlegter 3D-Matching-Algorithmen und unter Zugrundelegung der Merkmale in der Speichereinheit ein Tracking des Patienten, des Instrumentes und/oder des Implantates selbst dann ermöglicht, wenn diese nicht mit einer Markiereinrichtung versehen sind.
-
Die Koordinatenmessvorrichtung ist günstigerweise als Messsystem ausgestaltet oder umfasst ein solches, mit einem die Bildsensoreinheiten und ggf. mindestens eine Abstandsmesseinheit aufnehmenden Gehäuse. Im Gehäuse sind die Bildsensoreinheiten und ggf. eine Abstandsmesseinheit in definierter räumlicher und unverrückbarer Beziehung zueinander positioniert. Das Gehäuse kann auch die Beleuchtungseinheit der mindestens einen Abstandsmesseinheit aufnehmen.
-
Die Datenverarbeitungseinheit kann in das Gehäuse integriert sein.
-
Alternativ kann vorgesehen sein, dass die Datenverarbeitungseinheit, zumindest teilweise, in einem getrennten Gehäuse der Koordinatenmessvorrichtung positioniert ist. Der Datenaustausch kann kabellos oder kabelgebunden vorgesehen werden.
-
Bei einer andersartigen vorteilhaften Ausführungsform kann vorgesehen sein, dass die Bildsensoreinheiten und ggf. die mindestens eine Abstandsmesseinheit frei relativ zueinander positionierbar sind. Je nach Anwendungsfall kann es, beispielsweise zur Erzielung einer höheren Genauigkeit, bevorzugt sein, die Bildsensoreinheiten und ggf. mindestens eine Abstandsmesseinheit frei zu positionieren.
-
Eine Kalibrierung der Koordinatenmessvorrichtung kann unter Einsatz von Zusatzinformationen für aufgenommene (Test-)Objekte vorgenommen werden. Nach der Anordnung der Bildsensoreinheiten und ggf. der mindestens einen Abstandsmesseinheit können die Helligkeitsbilddatensätze simultan verarbeitet werden, insbesondere mittels einer Bündeltriangulation. Unter Berücksichtigung der Zusatzinformationen werden die Abbildungseigenschaften der Koordinatenmessvorrichtung für spätere Messungen bestimmt.
-
Die Koordinatenmessvorrichtung kann für den extra- und/oder den intrakorporalen Einsatz ausgelegt sein (sie kann ein Exoskop, Endoskop, eine Navigationskamera etc. aufweisen oder als solche(s) ausgestaltet sein).
-
Wie eingangs erwähnt, betrifft die vorliegende Erfindung auch ein medizintechnisches strahlungsbasiertes Koordinatenmessverfahren.
-
Die eingangs genannte Aufgabe wird durch ein Koordinatenmessverfahren gelöst, bei dem erfindungsgemäß mit einer ersten Bildsensoreinheit und einer zweiten Bildsensoreinheit ein erster Helligkeitsbilddatensatz bzw. ein zweiter Helligkeitsbilddatensatz bereitgestellt und mit einer Datenverarbeitungseinheit Objektkoordinaten von mittels elektromagnetischer Strahlung abgebildeten Objektpunkten im Raum durch Triangulation aus den Helligkeitsbilddatensätzen ermittelt werden, wobei mit mindestens einer Abstandsmesseinheit mindestens ein Abstandsdatensatz bereitgestellt wird und die Datenverarbeitungseinheit vor der Triangulation zumindest dem ersten Bilddatensatz unter Zugrundelegung des Abstandsdatensatzes eine Abstandsinformation hinzufügt.
-
Die Vorteile, die bereits im Zusammenhang mit der Erläuterung der erfindungsgemäßen Koordinatenmessvorrichtung erwähnt wurden, können unter Einsatz der Koordinatenmessverfahren ebenfalls erzielt werden. Zur Vermeidung von Wiederholungen kann auf die voranstehenden Äußerungen verwiesen werden.
-
Von Vorteil ist es, wenn als Abstandsmesseinheit eine Time-of-Flight(TOF)-Messeinheit verwendet wird.
-
Insbesondere ist es günstig, wenn mindestens eine kombinierte Bildsensor-Abstandsmesseinheit verwendet wird, die zugleich eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of-Flight(TOF)-Messeinheit.
-
Weitere vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Koordinatenmessverfahrens ergeben sich aus den Merkmalen vorteilhafter Ausführungsformen der erfindungsgemäßen Koordinatenmessvorrichtung, so dass diesbezüglich auf die voranstehenden Ausführungen verwiesen werden kann.
-
Die nachfolgende Beschreibung bevorzugter Ausführungsformen der Erfindung dient im Zusammenhang mit der Zeichnung der näheren Erläuterung der Erfindung. Es zeigen:
-
1: eine schematische Darstellung einer erfindungsgemäßen Koordinatenmessvorrichtung;
-
2: eine schematische Darstellung einer weiteren erfindungsgemäßen Koordinatenmessvorrichtung;
-
3: eine schematische Darstellung einer dritten erfindungsgemäßen Koordinatenmessvorrichtung; und
-
4: schematisch eine Bündeltriangulation unter Einsatz von fünf Bildsensoreinheiten zur Kalibrierung einer Koordinatenmessvorrichtung.
-
1 zeigt in schematischer Darstellung eine mit dem Bezugszeichen 10 belegte erfindungsgemäße medizintechnische strahlungsbasierte Koordinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Koordinatenmessverfahrens. Die Koordinatenmessvorrichtung 10 kann intraoperativ zum Einsatz kommen, um Objektpunkte abzubilden und im Raum zu verfolgen (Tracking). Beispielhaft zeigt die Zeichnung einen Objektpunkt 12, bei dem es sich um ein Markierelement 14 einer im Übrigen nicht dargestellten chirurgischen Markiereinrichtung handelt. Das Markierelement 14 kann selbstleuchtend ausgestaltet sein oder reflektierend für elektromagnetische Strahlung, die von einer Leuchteinrichtung 16 der Koordinatenmessvorrichtung 10 ausgesandt wird. Die Markiereinrichtung kann beispielsweise in nicht gezeigter, an sich bekannter Weise an einem Körperteil eines Patienten festgelegt sein und ein Referenzkoordinatensystem am Körperteil bilden.
-
Ein weiteres zu erfassendes und zu verfolgendes Objekt 18 umfasst eine Vielzahl einzelner Objektpunkte. Das Objekt 18 ist ein Körperteil 20 eines Patienten, zum Beispiel eine Extremität. Die Zeichnung zeigt schematisch, wie ein exemplarisch, ausgewählter Objektpunkt 22 mit der Koordinatenmessvorrichtung 10 abgebildet wird.
-
Es wird für die nachfolgenden Ausführungen darauf hingewiesen, dass die weiterführende Erläuterung zum Teil beispielhaft anhand der Objektpunkte 12, 22 vorgenommen wird. Diese Objektpunkte 12, 22 sind Beispiele für die von der Koordinatenmessvorrichtung 10 beobachtbaren Objektpunkte insgesamt. Der Objektraum wird dementsprechend nicht punktweise abgetastet, sondern es wird die beobachtbare Szene als Ganzes aufgenommen. Der Objektpunkt 22 steht daher auch beispielhaft für das Körperteil 20, dessen weitere Objektpunkte, soweit von der Koordinatenmessvorrichtung 10 sichtbar, simultan mit aufgenommen werden.
-
Die Koordinatenmessvorrichtung 10 ist ausgestaltet als optisches Messsystem 24, das ein Gehäuse 26 aufweist. Im Gehäuse 26 ist ein Stereokamerasystem 28 aufgenommen mit einer ersten Bildsensoreinheit 30 und einer zweiten Bildsensoreinheit 32. Die Bildsensoreinheiten 30, 32 umfassen optische Bildsensoren 34 bzw. 36. Die Bildsensoren 34, 36 sind sensitiv auf elektromagnetische Strahlung, die von der Leuchteinrichtung 16 emittiert und vom Objektpunkt 12 und dem Objekt 18 reflektiert wird, oder die vom Markierelement 14 emittiert wird. Beide Bildsensoren 34, 36 weisen ein hohes Auflösungsvermögen auf, das vorzugsweise übereinstimmt.
-
Die Bildsensoreinheiten 30, 32 sind in bekannter räumlicher Orientierung zueinander an der Koordinatenmessvorrichtung 10 angeordnet.
-
Die Koordinatenmessvorrichtung 10 umfasst eine Datenverarbeitungseinheit 38, die ebenfalls im Gehäuse 26 aufgenommen ist. Die Bildsensoren 34, 36 sind mit der Datenverarbeitungseinheit 38 so gekoppelt, dass von den Bildsensoreinheiten 32, 34 erstellbare Helligkeitsbilddatensätze, die eine jeweilige Helligkeitsinformation umfassen, an die Datenverarbeitungseinheit 38 weitergeleitet und von dieser verarbeitet werden. Zu diesem Zweck ist in der Datenverarbeitungseinheit 38 ein lauffähiges Computerprogramm gespeichert.
-
Die Datenverarbeitungseinheit 38 kann durch Triangulation aus den Helligkeitsbilddatensätzen die Koordinaten der Objektpunkte 12, 22 ermitteln. Bewegen sich die Objektpunkte im Raum, können sie von der Koordinatenmessvorrichtung 10 verfolgt werden (Tracking).
-
Die Zeichnung zeigt schematisch, wie die Objektpunkte 12, 22 von der ersten Bildsensoreinheit 30 unter Richtungsvektoren 40 bzw. 42 gesehen werden können. In entsprechender Weise werden die Objektpunkte 12, 22 von der Bildsensoreinheit 32 unter Richtungsvektoren 44 bzw. 46 gesehen. Die Genauigkeit, mit der anhand der Bilddatensätze die Richtungsvektoren 40 bis 46 angegeben werden können, ist in üblicher Weise relativ hoch. Allerdings besteht bei Stereokamerasystemen 28 wie eingangs erwähnt die Möglichkeit, dass sich durch die Lage unterschiedlicher Objektpunkte 12, 22 zueinander Mehrdeutigkeiten bei der Auswertung der Bilddatensätze ergeben können.
-
Um die Genauigkeit zu steigern, mit der die Lage von Objektpunkten 12, 22 angegeben werden kann, umfasst die Koordinatenmessvorrichtung 10 mindestens eine Abstandsmesseinheit 48. Die Abstandsmesseinheit 48 ist ausgestaltet als Time-of-Flight(TOF)-Messeinheit 50 und umfasst einen Bildsensor in Gestalt eines PMD-Sensors 52. Weiter umfasst die Time-of-Flight(TOF)-Messeinheit 50 eine Beleuchtungseinheit 54 zum Beleuchten abzubildender Objekte.
-
Der PMD-Sensor 52 stellt zumindest einen Abstandsdatensatz bereit, kann aber ergänzend einen Helligkeitsbilddatensatz bereitstellen. Die Beleuchtungseinheit 54 und die Leuchteinrichtung 16 emittieren Licht unterschiedlicher Spektralbereiche.
-
Mit der TOF-Messeinheit 50 können die Objektpunkte 12, 22 derart abgebildet werden, dass der Abstand der Objektpunkte 12, 22 von der TOF-Messeinheit 50 ermittelt wird. Zu diesem Zweck beleuchtet die Beleuchtungseinheit 54 die Objektpunkte 12, 22. Beispielsweise wird die Laufzeit des Lichtes von der Emission bis zur Detektion gemessen, so dass anhand der Laufzeit mit dem PMD-Sensor 52 ortsaufgelöst eine Abstandsinformation ermittelt werden kann. Die TOF-Messeinheit 50 kann einen Abstandsdatensatz bereitstellen und an die Datenverarbeitungseinheit 38 übermitteln.
-
Die TOF-Messeinheit 50 ist bei der Verwendung von selbstleuchtenden Markierelementen vorzugsweise mit diesen synchronisiert, um diese zu triggern, oder umgekehrt.
-
Die Zeichnung zeigt beispielhaft Entfernungsvektoren 56 und 58 von der TOF-Messeinheit 50 zu den Objektpunkten 12 bzw. 22. Die Abstandsinformation in den Entfernungsvektoren 56, 58 weist eine erhöhte Genauigkeit auf.
-
Die räumliche Orientierung der TOF-Messeinheit 50 und der Bildsensoreinheiten 30, 32 zueinander ist vorzugsweise fest und der Datenverarbeitungseinheit 38 bevorzugt bekannt.
-
Zur Ermittlung der Lage der Objektpunkte 12, 22 verarbeitet die Datenverarbeitungseinheit 38 erfindungsgemäß den ersten Helligkeitsbilddatensatz der ersten Bildsensoreinheit 30 unter Zugrundelegung zumindest des Abstandsdatensatzes der TOF-Messeinheit 50 vor der Triangulation. Dabei kann der erste Helligkeitsbilddatensatz um eine Abstandsinformation ergänzt werden, die dem Abstandsdatensatz entnommen werden kann.
-
Für die von der ersten Bildsensoreinheit 30 abgebildeten Objektpunkte 12, 22 weist der ergänzte erste Helligkeitsbilddatensatz daher außer der Richtungsinformation eine zusätzliche Abstandsinformation auf. Über die Ermittlung der anhand der Richtungsvektoren 40, 42 symbolisierten Richtungen zu den Objektpunkten 12, 22 hinaus kennt die Datenverarbeitungseinheit 38 in den so ergänzten Helligkeitsbilddatensatz auch die Länge der Richtungsvektoren und damit die Abstände der Objektpunkte 12, 22 von der ersten Bildsensoreinheit 30. Diese Abstände kann die Datenverarbeitungseinheit 38 der Abstandsinformation der TOF-Messeinheit 50 unter Berücksichtigung der Relativanordnung der TOF-Messeinheit 50 und der ersten Bildsensoreinheit 30 entnehmen.
-
In entsprechender Weise verarbeitet die Datenverarbeitungseinheit 38 bevorzugt auch den zweiten Helligkeitsbilddatensatz der zweiten Bildsensoreinheit 32 vor der Triangulation mit dem Abstandsdatensatz der TOF-Messeinheit 50. Dem zweiten Helligkeitsbilddatensatz wird eine Abstandsinformation hinzugefügt, die zusätzlich zur Richtungsinformation aus den Richtungsvektoren 44, 46 als deren Länge(n) in den zweiten Bilddatensatz einfließt. Die Abstände der Objektpunkte 12, 22 kann die Datenverarbeitungseinheit 38 aus dem Abstandsdatensatz mit den Entfernungsvektoren 56, 58 und unter Zugrundelegung der Relativposition der TOF-Messeinheit 50 und der zweiten Bildsensoreinheit 32 ermitteln.
-
Es kann vorgesehen sein, dass die TOF-Messeinheit 50 über den Abstandsdatensatz hinaus einen Helligkeitsbilddatensatz bereitstellt, der Helligkeitsinformationen über die beobachteten Objektpunkte 12, 22 umfasst. Die Datenverarbeitungseinheit 38 kann die Bildpunkte der Objektpunkte 12, 22 im Helligkeitsbilddatensatz mit Bildpunkten der Objektpunkte 12, 22 in den Bilddatensätzen identifizieren. Dies erlaubt es, eine redundante Information zu schaffen, damit eine Zuordnung des Abstandsdatensatzes zu den Helligkeitsbilddatensätzen erleichtert wird.
-
Anschließend ermittelt die Datenverarbeitungseinheit 38 die Koordinaten der Objektpunkte 12, 22 im Raum durch Triangulation. Da die jeweiligen Helligkeitsbilddatensätze um die Abstandsinformation aus dem Abstandsdatensatz ergänzt sind, kann eine wesentlich genauere Bestimmung der Objektpunkte 12, 22 als bei herkömmlichen Koordinatenmessvorrichtungen erfolgen. Mehrdeutigkeiten, wie beispielsweise Ghost Points, wie sie bei herkömmlichen Stereokamerasystemen auftreten können, sind bereits vor der Triangulation weitestgehend vermeidbar.
-
Die Koordinatenmessvorrichtung 10 umfasst eine Speichereinheit 60, die in die Datenverarbeitungseinheit 38 integriert sein kann. In der Speichereinheit 60 können Merkmale für beobachtbare Objektpunkte gespeichert sein. Beispielsweise kann die Geometrie der Markiereinrichtung mit den Relativpositionen der Markierelemente zueinander gespeichert sein. Insbesondere umfasst die Speichereinheit 60 Merkmale über die Anatomie des Patienten, speziell über das Körperteil 20.
-
Die Datenverarbeitungseinheit 38 kann bei der Datenauswertung die in der Speichereinheit 60 gespeicherten Merkmale zum Identifizieren der Bilder der Objektpunkte in den Bilddatensätzen und im Abstandsdatensatz heranziehen. Zeitabhängig können die Merkmale beim Tracken der Objektpunkte berücksichtigt werden.
-
Dies gibt beispielsweise die Möglichkeit, in der Datenverarbeitungseinheit 38 3D-Matching-Algorithmen zu hinterlegen und ein Tracken der Anatomie des Patienten durchzuführen, ohne dass hierfür eine Markierung des Körperteils 20 mit einer Markiereinrichtung erforderlich ist. Dies erlaubt es, mit geringerer Invasivität zu operieren.
-
Insgesamt sind Oberflächenmessungen und -tracking, bei denen die Oberfläche durch ein engmaschiges Netz von stützenden Objektpunkten aufgenommen wird, mit vergleichsweise geringer Rechenleistung möglich.
-
2 zeigt eine mit dem Bezugszeichen 70 belegte erfindungsgemäße Koordinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens. Für gleiche oder gleichwirkende Merkmale und Bauteile der Koordinatenmessvorrichtungen 10 und 70 werden identische Bezugszeichen benutzt.
-
Die Koordinatenmessvorrichtung 70 unterscheidet sich von der Koordinatenmessvorrichtung 10 dadurch, dass anstelle der lediglich Helligkeitsbilddatensätze bereitstellenden Bildsensoreinheiten 30, 32 kombinierte Bildsensor-Abstandsmesseinheiten 72, 74 vorgesehen sind. Diese bilden insbesondere Time-of-Flight(TOF)-Messeinheiten 76, 78 mit PMD-Sensoren 80, 82 aus. Die TOF-Messeinheit 50 entfällt.
-
Die kombinierten Bildsensor-Abstandsmesseinheiten 72, 74 sind so ausgestaltet, dass über die PMD-Sensoren 80 bzw. 82 jeweils ein Helligkeitsbilddatensatz und ein Abstandsdatensatz bereitstellbar sind. Die Datensätze werden der Datenverarbeitungseinheit 38 zugeführt. Der Helligkeitsbilddatensatz und der Abstandsdatensatz einer jeweiligen kombinierten Einheit 72, 74 kann von der Datenverarbeitungseinheit 38 ausgewertet werden. Dabei ist es möglich, jedem Helligkeitsbilddatensatz die Abstandsinformation aus dem entsprechenden Abstandsdatensatz hinzuzufügen, um einen jeweiligen dreidimensionalen Datensatz bereitzustellen. Für jeden Objektpunkt 12, 22 kann dadurch ein Richtungsvektor 40, 44 bzw. 42, 46 sowie gleichzeitig der dazugehörige Entfernungsvektor bestimmt werden, d. h. die Länge der Richtungsvektoren. Mehrdeutigkeiten können bereits vor der Triangulation durch die Datenverarbeitungseinheit 38 ausgeschlossen werden. Bei der Triangulation kann die Datenverarbeitungseinheit 38 die Koordinaten der Objektpunkte 12, 22 im Raum auf diese Weise genauer ermitteln, als dies mit einer herkömmlichen Koordinatenmessvorrichtung der Fall ist.
-
3 zeigt eine mit dem Bezugszeichen 90 belegte erfindungsgemäße Koordinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens. Für gleiche oder gleichwirkende Merkmale und Bauteile der Koordinatenmessvorrichtungen 10, 70 und 90 werden identische Bezugszeichen benutzt.
-
Bei der Koordinatenmessvorrichtung 90 kommt die kombinierte Bildsensor-Abstandsmesseinheit 72 zum Einsatz, die die TOF-Messeinheit 76 mit dem PMD-Sensor 80 ausbildet. Dieser stellt wie bei der Koordinatenmessvorrichtung 70 sowohl einen Helligkeitsbilddatensatz als auch einen Abstandsbilddatensatz bereit, die an die Datenverarbeitungseinheit 38 übertragen werden können. Die Datenverarbeitungseinheit 38 kann dem Helligkeitsbilddatensatz die Abstandsinformation hinzufügen und einen dreidimensionalen Datensatz kreieren. Zusätzlich zur Information über die Richtungsvektoren 40, 42 zu den Objektpunkten 14, 22 kann auf diese Weise gleichzeitig ein Entfernungsvektor, d. h die Länge eines jeweiligen Richtungsvektors, bestimmt werden. Mehrdeutigkeiten lassen sich bereits vor der Triangulation vermeiden.
-
Zusätzlich kommt in der Koordinatenmessvorrichtung 90 die Bildsensoreinheit 32 mit dem Bildsensor 36 zum Einsatz. Anhand des vom Bildsensor 36 bereitgestellten Helligkeitsbilddatensatzes kann die Datenverarbeitungseinheit 38 die Richtungsvektoren 44, 46 zu den Objektpunkten 14, 22 ermitteln.
-
Bei der Triangulation des um die Abstandsinformation ergänzten ersten Helligkeitsbilddatensatzes des PMD-Sensors 80 mit dem Helligkeitsbilddatensatz des Bildsensors 36 können die Koordinaten der Objektpunkte 12, 22 im Raum genauer ermittelt werden, als dies mit einer herkömmlichen Koordinatenmessvorrichtung der Fall ist.
-
Die 4 zeigt schematisch, wie ein Kamerasystem 100, das eine Mehrzahl von Kameras 102 umfassen kann, kalibriert werden kann. Die Kameras 102 können frei positionierbar sein. Vorliegend sind beispielhaft fünf Kameras 102 gezeigt, die den Bildsensoreinheiten 30, 32, der TOF-Messeinheit 50 oder den kombinierten Bildsensor-Abstandsmesseinheiten 72, 74 entsprechen können.
-
Die 4 stellt dabei schematisch ein jeweiliges Abbildungszentrum 104 und eine Bildebene 106 einer Kamera 102 dar, sowie ein Objekt 108 mit einer Mehrzahl von Objektpunkten 110.
-
Der in der 4 nicht gezeigten Datenverarbeitungseinheit ist die relative Orientierung der Objektpunkte 110 bekannt. Diese Zusatzinformation ist in der Speichereinheit gespeichert. Mit Hilfe der Zusatzinformation können die Messungen aus den Bilddaten den Objektpunkten 110 zugeordnet werden. Bei Vorhandensein zumindest einer TOF-Messeinheit kann dabei neben der Lage des Objektpunktes (Richtungsvektor) auch noch eine Abstandsinformation des Objektpunktes (Entfernungsvektor) wie vorstehend beschrieben berücksichtigt werden. Durch eine Bündeltriangulation können die jeweiligen Bilddaten der Kameras 102 von der Datenverarbeitungseinheit simultan verarbeitet werden. Idealerweise schneiden sich die Bildstrahlen 112, 114 eines jeweiligen Objektpunktes 110 an demselben Punkt. Auf diese Weise kann die Abbildungseigenschaft des Kamerasystems 100 ermittelt werden, insbesondere die Relativorientierung der Kameras 102 und die Orientierung der Kameras 102 zum Objekt 108.
-
Bezugszeichenliste
-
- 10
- Koordinatenmessvorrichtung
- 12
- Objektpunkt
- 14
- Markierelement
- 16
- Leuchteinrichtung
- 18
- Objekt
- 20
- Körperteil
- 22
- Objektpunkt
- 24
- Messsystem
- 26
- Gehäuse
- 28
- Stereokamerasystem
- 30
- erste Bildsensoreinheit
- 32
- zweite Bildsensoreinheit
- 34
- Bildsensor
- 36
- Bildsensor
- 38
- Datenverarbeitungseinheit
- 40
- Richtungsvektor
- 42
- Richtungsvektor
- 44
- Richtungsvektor
- 46
- Richtungsvektor
- 48
- Abstandsmesseinheit
- 50
- TOF-Messeinheit
- 52
- PMD-Sensor
- 54
- Beleuchtungseinheit
- 56
- Entfernungsvektor
- 58
- Entfernungsvektor
- 60
- Speichereinheit
- 70
- Koordinatenmessvorrichtung
- 72
- kombinierte Bildsensor-Abstandsmesseinheit
- 74
- kombinierte Bildsensor-Abstandsmesseinheit
- 76
- TOF-Messeinheit
- 78
- TOF-Messeinheit
- 80
- PMD-Sensor
- 82
- PMD-Sensor
- 100
- Kamerasystem
- 102
- Kamera
- 104
- Abbildungszentrum
- 106
- Bildebene
- 108
- Objekt
- 110
- Objektpunkt
- 112
- Bildstrahl
- 114
- Bildstrahl
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013112375 A1 [0003]
- DE 102014104800 A1 [0003]