DE102010036904A1

DE102010036904A1 - Haptische Messvorrichtung und Messverfahren

Info

Publication number: DE102010036904A1
Application number: DE102010036904A
Authority: DE
Inventors: Dr. Navab Nassir; Christoph Paul Bichlmeier; Philipp Stefan
Original assignee: Technische Universitaet Muenchen
Current assignee: Technische Universitaet Muenchen
Priority date: 2010-08-06
Filing date: 2010-08-06
Publication date: 2012-02-09

Abstract

Die vorliegende Erfindung stellt eine haptische Messvorrichtung bereit, die ausgelegt ist zur haptischen Erfassung eines virtuellen Objekts (203). Die haptische Messvorrichtung (500) schließt einen berührungssensitiven Bildschirm (201) ein, der ausgelegt ist zur Darstellung des virtuellen Objekts (203) in einem virtuellen Reaktionsraum 200. Ein auf den berührungssensitiven Bildschirm (201) aufsetzbarer Manipulator (101) ist ausgelegt zur Ausführung von Bewegungen in einem Interaktionsraum (100) vor dem berührungssensitiven Bildschirm (201). Eine mit dem Manipulator (101) verbundene und auf den berührungssensitiven Bildschirm (201) aufgesetzte Sensor-Aktoreinheit (102) ist ausgelegt zur Erfassung von Bewegungen des Manipulators (101) und zur Aufbringung von Kräften auf den Manipulator (101) in dem Interaktionsraum (100). Ferner ist eine Auswerteeinheit 300 bereitgestellt, die ausgelegt ist zur Auswertung einer Wechselwirkung einer virtuellen Verlängerung (202) des Manipulators (101) mit dem virtuellen Objekt (202) in dem virtuellen Reaktionsraum (200) und zur Steuerung der Sensor-Aktoreinheit (102) auf Grundlage der Wechselwirkung.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft allgemein ein System zur haptischen Erfassung von Objekten in einer virtuellen Realität, wie etwa in einer computerunterstützten Erweiterung einer Realitätswahrnehmung. Insbesondere betrifft die vorliegende Erfindung eine Messvorrichtung zur haptischen Erfassung eines virtuellen Objekts in einem virtuellen Reaktionsraum. Ferner betrifft die vorliegende Erfindung ein haptisches Messverfahren zur haptischen Erfassung eines virtuellen Objekts.
STAND DER TECHNIK
Herkömmliche technische Erfassungssysteme sind typischerweise dazu ausgelegt, ihre Umgebung durch Aufnahme optischer oder akustischer Information zu detektieren. Von zunehmender Bedeutung bei der Auslegung von technischen Systemen ist das aktive Erfühlen von Größen, Konturen, Oberflächentexturen, Gewicht, volumetrische Eigenschaften usw. eines in ihrer Umgebung befindlichen Objekts.
Eine derartige, mit einem Berührungssinn bzw. Tastsinn vergleichbare Erfassungsmodalität wird als Haptik bezeichnet, der entsprechende Prozess ist die haptische Wahrnehmung. Haptische Systeme können neben der Größe und Form von abzutastenden Objekten auch Oberflächenrauheiten bzw. Oberflächentexturen erfassen, wobei eine derartige Textur typischerweise als eine haptische Textur bezeichnet wird.
Auch bei medizinischen Anwendungen spielt die auf Kraftrückführung basierende haptische Wahrnehmung eine wichtige Rolle. So können medizinische Simulationen für einen Operateur realistischer dargestellt werden. Bei Simulationen in einer virtuellen Realität agiert der Benutzer in einem virtuellen Reaktionsraum mit einem virtuellen Körper. Eine derartige Interaktion basiert auf einer exakten haptischen Erfassung eines virtuellen Objekts in dem virtuellen Reaktionsraum.
DARSTELLUNG DER ERFINDUNG
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine verbesserte haptische Messvorrichtung und ein entsprechendes Messverfahren bereitzustellen, die ausgelegt sind zur haptischen Erfassung eines virtuellen Objekts in einem virtuellen Reaktionsraum.
Diese Aufgabe wird durch eine haptische Messvorrichtung mit den Merkmalen des Patentanspruchs 1 bzw. durch eine haptische Messvorrichtung mit den Merkmalen des Patentanspruchs 22 gelöst. Ferner wird die obige Aufgabe durch ein haptisches Messverfahren zur haptischen Erfassung eines virtuellen Objekts gelöst, welches in dem Patentanspruch 9 angegeben ist. Darüber hinaus wird die obige Aufgabe durch ein in dem Patentanspruch 20 angegebenes chirurgisches Trainingsgerät gelöst.
Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Ein wesentlicher Gedanke der Erfindung besteht darin, einen berührungssensitiven Bildschirm, der ausgelegt ist zur Darstellung des virtuellen Objekts in dem virtuellen Reaktionsraum, mit einer auf den berührungssensitiven Bildschirm aufgesetzten Sensor-Aktoreinheit zu kombinieren, um Bewegungen eines mit der Sensor-Aktoreinheit verbundenen Manipulators präzise zu erfassen und zu steuern.
Gemäß einem ersten Aspekt stellt die vorliegende Erfindung eine haptische Messvorrichtung bereit, die ausgelegt ist zur Erfassung eines virtuellen Objekts, wobei die haptische Messvorrichtung einen berührungssensitiven Bildschirm, der ausgelegt ist zur Darstellung des virtuellen Objekts in einem virtuellen Reaktionsraum, einen auf den berührungssensitiven Bildschirm aufsetzbaren Manipulator, der ausgelegt ist zur Ausführung von Bewegungen in einem Interaktionsraum vor dem berührungssensitiven Bildschirm, eine mit dem Manipulator verbundene und auf den berührungssensitiven Bildschirm aufgesetzte Sensor-Aktoreinheit, die ausgelegt ist zur Erfassung von Bewegungen des Manipulators und zur Aufbringung von Kräften auf den Manipulator in dem Interaktionsraum, und eine Auswerteeinheit einschließt, die ausgelegt ist zur Auswertung einer Wechselwirkung einer virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt in dem virtuellen Reaktionsraum und zur Steuerung der Sensor-Aktoreinheit auf Grundlage der Wechselwirkung.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein haptisches Messverfahren zur haptischen Erfassung eines virtuellen Objekts bereit, mit den Schritten: Darstellen des virtuellen Objekts auf einem berührungssensitiven Bildschirm in einem virtuellen Reaktionsraum; Ankoppeln des Manipulators an den berührungssensitiven Bildschirm; Ausführen von Bewegungen des an den Bildschirm angekoppelten Manipulators in einem Interaktionsraum vor dem Bildschirm; Erfassen der Bewegungen des Manipulators; Auswerten einer Wechselwirkung einer virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt in dem virtuellen Reaktionsraum; und Aufbringen mindestens einer Kraft auf den Manipulator auf Grundlage der Wechselwirkung.
Gemäß noch einem weiteren Aspekt stellt die vorliegende Erfindung eine haptische Messvorrichtung bereit, die ausgelegt ist zur Erfassung eines virtuellen Objekts, wobei die haptische Messvorrichtung einen berührungssensitiven Bildschirm, der ausgelegt ist zur Darstellung des virtuellen Objekts in einem virtuellen Reaktionsraum, einen Manipulator, der ausgelegt ist zur Ausführung von Bewegungen in einem Interaktionsraum vor dem berührungssensitiven Bildschirm, eine mit dem Manipulator verbundene und an den berührungssensitiven Bildschirm angekoppelte Kraftrückkopplungseinheit, die ausgelegt ist zur Aufbringung von Kräften auf den Manipulator in dem Interaktionsraum, eine optische Positionserfassungseinheit, die ausgelegt ist zur Erfassung von einer Position des Manipulators in dem Interaktionsraum, und eine Auswerteeinheit einschließt, die ausgelegt ist zur Auswertung einer Wechselwirkung einer Abbildung des Manipulators in dem virtuellen Reaktionsraum mit dem virtuellen Objekt auf Grundlage der erfassten Position des Manipulators in dem Interaktionsraum und zur Steuerung der Kraftrückkopplungseinheit auf Grundlage der Wechselwirkung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
In den Zeichnungen zeigen:
1 eine Seitenansicht eines auf einen berührungssensitiven Bildschirm aufgesetzten Manipulators und dessen virtuelle Verlängerung, in einer schematischen Skizze;
2 eine haptische Messvorrichtung zur haptischen Erfassung eines virtuellen Objekts in einem virtuellen Reaktionsraum, gemäß einem typischen Ausführungsbeispiel;
3 eine haptische Messvorrichtung mit einer in einem Interaktionsraum angeordneten Sensor-Aktoreinheit in einer perspektivischen Ansicht, gemäß einem weiteren Ausführungsbeispiel;
4 die in 3 gezeigte haptische Messvorrichtung in einer weiteren perspektivischen Ansicht;
5 ein Blockdiagramm einer haptischen Messvorrichtung zur haptischen Erfassung eines virtuellen Objekts mit einer Darstellung von Signal- und Datenflüssen;
6 ein chirurgisches Trainingsgerät, welches eine haptische Messvorrichtung gemäß einem der typischen Ausführungsbeispiele einschließt, in einer perspektivischen Darstellung;
7 das in 6 gezeigte chirurgische Trainingsgerät in einer weiteren perspektivischen Darstellung;
8 ein Flussdiagramm, welches ein haptisches Messverfahren zur haptischen Erfassung eines virtuellen Objekts veranschaulicht;
9 eine haptische Messvorrichtung zur haptischen Erfassung eines virtuellen Objekts in einem virtuellen Reaktionsraum, gemäß einem weiteren typischen Ausführungsbeispiel; und
10 ein Blockdiagramm der in 9 gezeigten haptischen Messvorrichtung mit einer Darstellung von Signal- und Datenflüssen.
In den Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Komponenten oder Schritte.
WEGE ZUR AUSFÜHRUNG DER ERFINDUNG
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung detaillierter beschrieben.
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf eine haptische Messvorrichtung, die ausgelegt ist zur haptischen Erfassung eines virtuellen Objekts. Die haptische Messvorrichtung schließt einen berührungssensitiven Bildschirm ein, der ausgelegt ist zur Darstellung des virtuellen Objekts in einem virtuellen Reaktionsraum. Die Oberfläche des berührungssensitiven Bildschirms teilt den virtuellen Reaktionsraum ab von einem realen Interaktionsraum, d. h. einen Raum vor dem Bildschirm.
In dem realen Interaktionsraum kann ein Manipulator vorgesehen werden, der auf den berührungssensitiven Bildschirm aufsetzbar ist. Bewegungen, die mit dem Manipulator in dem realen Interaktionsraum vor dem berührungssensitiven Bildschirm durchgeführt werden, können schließlich von einer ebenfalls auf den berührungssensitiven Bildschirm aufgesetzten Sensor-Aktoreinheit erfasst werden.
Durch eine Auswerteeinheit wird eine virtuelle Wechselwirkung einer virtuelle Verlängerung des Manipulators durch die Bildschirmoberfläche des berührungssensitiven Bildschirms hindurch mit dem in dem virtuellen Reaktionsraum dargestellten virtuellen Objekt und anderen virtuellen Inhalten ausgewertet und zur Steuerung der Sensor-Aktoreinheit auf Grundlage der Wechselwirkung herangezogen. Eine derartige Steuerung besteht in einer Aufbringung von Kräften auf den Manipulator in dem vor dem Bildschirm liegenden realen Interaktionsraum. So können beispielsweise virtuelle Kollisionen der virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt eine Kraftrückwirkung, d. h. ein haptisches Feedback, auf den Manipulator in dem realen Interaktionsraum hervorrufen.
Bei einer Ausführung von Bewegungen mit dem Manipulator wird nunmehr eine Kraftrückkopplung vorgegeben, welche abhängig sein kann von einer virtuellen haptischen Wahrnehmung von Größen, Konturen, Oberflächentextur, Gewicht, volumetrischen Eigenschaften etc. des in dem virtuellen Reaktionsraum dargestellten virtuellen Objekts.
Auf diese Weise ist es möglich, eine in eine virtuelle Realität eingebettete Simulation von minimal invasiven medizinischen Eingriffen durchzuführen. Somit kann eine chirurgische Trainingsanwendung mit Hilfe des gesteuerten Manipulators ermöglicht werden.
Ausführungsbeispiele beziehen sich somit ferner auf ein Eingabegerät zur Verwendung in Anwendungen der virtuellen Realität in Verbindung mit berührungssensitiven Bildschirmen. Ein derartiges Eingabegerät stellt eine leistungsfähige Mensch-Maschine-Schnittstelle dar, mit welcher Interaktionen zwischen einem virtuell verlängerten Manipulator und einem in einem virtuellen Reaktionsraum dargestellten virtuellen Objekt analysiert werden können.
1 ist eine Seiten-Schnittansicht eines Manipulators 101, welcher in einer haptischen Messvorrichtung gemäß einem typischen Ausführungsbeispiel der vorliegenden Erfindung eingesetzt werden kann.
1 veranschaulicht einen berührungssensitiven Bildschirm 201 in einer Seitenschnittansicht, wobei der berührungssensitive Bildschirm 201 den Raum in einen Interaktionsraum 100 oberhalb des Bildschirms und einen virtuellen Reaktionsraum 200 unterhalb des Bildschirms in 1 unterteilt.
Der in 1 gezeigte Manipulator 101 besteht gemäß einem typischen Ausführungsbeispiel aus einem Manipulatorstab 103, welcher in einer Manipulatorhülse 104 in Längsrichtung des Manipulatorstabs verschoben werden kann. Insbesondere kann der Manipulator als ein Teleskop-Stylus ausgebildet sein, der entsprechend der ausgeführten Bewegungen ausziehbar oder einziehbar ist.
An einem Manipulator-Aufsetzpunkt 204 auf dem Bildschirm ist die Manipulatorhülse 104 des Manipulators 101 auf den berührungssensitiven Bildschirm 201 aufgesetzt. Somit kann der Manipulatorstab 103 des Manipulators 101 in einer Manipulator-Verschieberichtung 105 innerhalb der Manipulatorhülse 104 bewegt werden, wobei die Manipulator-Verschieberichtung 105 mit einer Richtung der Längsachse des Manipulatorstabs 103 übereinstimmt.
Gemäß einem weiteren typischen Ausführungsbeispiel kann der Manipulatorstab 103 des Manipulators 101 am Manipulator-Aufsetzpunkt 204 auf den berührungssensitiven Bildschirm 201 aufgesetzt werden, wobei dann die Manipulatorhülse 104 in der Manipulator-Verschieberichtung 105 beweglich ist.
Ferner ist in 1 eine virtuelle Verlängerung 202 des Manipulatorstabs 103 des Manipulators 101 durch eine gestrichelte Linie angezeigt. Die virtuelle Verlängerung 202 des Manipulatorstabs 103 reicht somit in den virtuellen Reaktionsraum 200 hinein, derart, dass in den virtuellen Reaktionsraum 200 virtuelle Wechselwirkungen mit einem oder mehreren virtuellen Objekten bewirkt werden können.
In einem später unter Bezugnahme auf die 6 und 7 zu beschreibenden Trainingsgerät kann die virtuelle Verlängerung 202 des Manipulatorstabs 103 beispielsweise als ein virtueller Einführungskanal in einen Körper dargestellt sein. Beispielsweise ist es unter Verwendung einer unten stehend unter Bezugnahme auf 2 noch zu beschreibenden Sensor-Aktoreinheit 102 möglich, die Manipulatorhülse 104 des Manipulators 101 derart zu fixieren, dass der Manipulatorstab 103 nach einem Aufbringen einer Kraft durch die Sensor-Aktoreinheit 102 nur entlang eines virtuellen Einführungskanals in Richtung der Manipulatorstab-Achse, d. h. der Manipulator-Verschieberichtung 105, bewegt werden kann.
2 ist eine schematische Schnittansicht zur Veranschaulichung einer haptischen Messvorrichtung 500 gemäß einem typischen Ausführungsbeispiel. Wie oben stehend unter Bezugnahme auf 1 erläutert, teilt der berührungssensitive Bildschirm 201 den Raum in einen Interaktionsraum 100 (in 2 oberhalb des berührungssensitiven Bildschirms 201) und einen virtuellen Reaktionsraum 200 (in 2 unterhalb des berührungssensitiven Bildschirms 201) auf. Der Manipulator 101, der beispielsweise wie in 1 beschrieben aufgebaut sein kann, ist an dem Manipulator-Aufsetzpunkt 204 auf die Oberfläche des berührungssensitiven Bildschirms 201 aufgesetzt.
Ferner ist es möglich, den Manipulator 101 an dem Manipulator-Aufsetzpunkt 204 mittels einer Fixiereinrichtung 205 zu fixieren. Die Fixierereinrichtung 205 bewirkt, dass der Manipulator-Aufsetzpunkt 204 für bestimmte Betriebsweisen nicht entlang der Oberfläche des berührungssensitiven Bildschirms 201 verschoben werden kann.
An den Manipulator 101 angekoppelt ist eine Sensor-Aktoreinheit 102. Die Sensor-Aktoreinheit 102 dient einerseits dazu, an dem Manipulator manuell ausgeführte Bewegungen im Raum zu erfassen, und andererseits dazu, Rückkopplungskräfte auf den Manipulator 101 nach Maßgabe einer virtuellen Wechselwirkung in dem virtuellen Reaktionsraum 200 aufzubringen. Die Sensor-Aktoreinheit 102 ist an einem Aktor-Aufsetzpunkt 207 auf die Oberfläche des berührungssensitiven Bildschirms 201 aufgesetzt.
Gemäß einem weiteren Ausführungsbeispiel, das mit anderen Ausführungsbeispielen, die hierin beschrieben sind, kombiniert werden kann, weist die Sensor-Aktoreinheit 102 ein Target 208 auf, welches eine Erkennung des Aktor-Aufsetzpunkts 207 auf die Oberfläche des berührungssensitiven Bildschirms 201 erleichtert. Beispielsweise kann das Target aus einem Material ausgeführt sein, welches eine Erkennung durch kapazitive Sensorik des berührungssensitiven Bildschirms ermöglicht. Durch eine geeignete Auswahl des Target-Materials kann somit eine Positionserfassung der Sensor-Aktoreinheit 102 durch den berührungssensitiven Bildschirm verbessert werden. Somit kann eine Position einer Aufsetzfläche der Sensor-Aktoreinheit 102 durch den berührungssensitiven Bildschirm 201 mittels des detektierbaren Targets 208 präzise bestimmt werden.
Der berührungssensitive Bildschirm 201 kann als ein Multi-Touch-Schirm ausgelegt sein, derart, dass mehr als eine Berührungsposition auf der Oberfläche des berührungssensitiven Bildschirms 201 erfasst werden kann. In dem in 2 dargestellten Aufbau sind dies die Berührungspositionen des Manipulator-Aufsetzpunkts 204 und des Aktor-Aufsetzpunkts 207. Der berührungssensitive Bildschirm 201 kann auf diese Weise mehrere Berührungen gleichzeitig erkennen.
Der berührungssensitive Bildschirm 201 kann kapazitive und/oder optische Sensoren einschließen, die ausgelegt sind zur Bestimmung des Manipulator-Aufsetzpunkts 204 und/oder des Aktor-Aufsetzpunkts 207 auf der Oberfläche des berührungssensitiven Bildschirms 201. Durch die Verwendung des berührungssensitiven Bildschirms 201 ist es möglich, auf der Oberfläche des berührungssensitiven Bildschirms 201 gleichzeitig mehrere Kombinationen von Manipulator 101 und Sensor-Aktoreinheit 102 aufzusetzen und gleichzeitig zu erkennen.
Die Fixiereinrichtung 205 zur Fixierung des Manipulator-Aufsetzpunkts 204 auf der Oberfläche des berührungssensitiven Bildschirms 201 kann beispielsweise als ein Saugnapf ausgebildet sein, welcher es erlaubt, dass der Manipulator 101 in sämtliche Raumrichtungen in dem Interaktionsraum 100 bewegt wird, während gleichzeitig der Manipulator-Aufsetzpunkt 204 fixiert ist.
In dem in 2 gezeigten virtuellen Reaktionsraum 200 unterhalb des berührungssensitiven Bildschirms 201 ist neben der virtuellen Verlängerung 202 des Manipulators 101 ein am Ende der virtuellen Verlängerung 202 angebrachtes virtuelles Werkzeug 206 dargestellt. Eine virtuelle Wechselwirkung des virtuellen Werkzeugs 206 mit einem virtuellen Objekt 203 kann nun für den virtuellen Reaktionsraum berechnet werden. Zu diesem Zweck wird die Oberfläche des virtuellen Objekts 203 bestimmt, beispielsweise kann diese durch eine dreidimensionale Gitterdatenstruktur dargestellt werden.
Ferner sind die Koordinaten des virtuellen Werkzeugs 206 bzw. einer Spitze der virtuellen Verlängerung 202 über eine Erfassung der Position des Manipulators 101 in dem Interaktionsraum 100 mit Hilfe der Sensor-Aktoreinheit 102 bekannt bzw. berechenbar. Eine Wechselwirkung des virtuellen Werkzeugs 206 mit dem virtuellen Objekt 203 kann somit ermittelt werden und als Grundlage dienen für eine durch die Sensor-Aktoreinheit 102 in dem Interaktionsraum 100 auf den Manipulator 101 aufbringbare Kraft, wie unten stehend unter Bezugnahme auf die Beschreibung des Blockdiagramms in der 5 erläutert werden wird.
3 ist eine perspektivische Ansicht einer haptischen Messvorrichtung 500 gemäß einem weiteren typischen Ausführungsbeispiel. Ein Bezugszeichen 201 bezeichnet den berührungssensitiven Bildschirm 201, der den Raum in den Interaktionsraum 100 und den virtuellen Reaktionsraum 200 unterteilt. Die Sensor-Aktoreinheit 102 ist auf der Oberfläche des virtuellen Bildschirms 201 angebracht und über eine Koppeleinheit 107 mit dem Manipulator 106 verbunden. Der Manipulator 106 ist mit der Fixiereinrichtung 205 an der Oberfläche des berührungssensitiven Bildschirms 201 befestigt und kann in allen Raumrichtungen durch die mit der Koppeleinheit 107 angekoppelte Sensor-Aktoreinheit 102 bewegt werden. Die Positionen der Sensor-Aktoreinheit 102 und des Aufsetzpunkts des Manipulators 101 werden durch den berührungssensitiven Bildschirm 201, der als ein Multi-Touch-Schirm ausgeführt ist, erfasst. Ferner zeigt 3 unterhalb des berührungssensitiven Bildschirms 201 die virtuelle Verlängerung 202 des Manipulators 101 in dem virtuellen Reaktionsraum 200.
Die Sensor-Aktoreinheit 102 kann als ein haptisches Gerät zur Eingabe von Bewegungen in einen Computer bereitgestellt sein, wobei eine Kraftrückkopplung auf der Grundlage einer berechneten Wechselwirkung von virtueller Verlängerung 202 des Manipulators 101 und virtuellem Objekt 203, (in 3 nicht gezeigt) berechnet werden kann.
Gemäß einem typischen Ausführungsbeispiel, das mit anderen hierin beschriebenen Ausführungsbeispielen kombiniert werden kann, ist die Sensor-Aktoreinheit 102 als ein haptisches Gerät mit sechs Bewegungsfreiheitsgraden ausgelegt. Auf diese Weise ist es möglich, den Manipulator 101 an einem am oberen Ende des Manipulators 101 angebrachten Manipulatorgriff 106 frei in dem Interaktionsraum 100 zu bewegen und dadurch entsprechende Bewegungen der virtuellen Verlängerung 202 des Manipulators 101 in dem virtuellen Reaktionsraum 200 herbeizuführen.
Die an dem Manipulatorgriff 106 ausgeführten Bewegungen des Manipulators 101 durch beispielsweise eine Bedienperson werden von der Sensor-Aktoreinheit 102 erfasst, um nach einer Ermittlung einer virtuellen Wechselwirkung zwischen der virtuellen Verlängerung 202 des Manipulators 101 und einem virtuellen Objekt eine Rückkopplungskraft über die Sensor-Aktoreinheit 102 und die Koppeleinheit 107 direkt auf den Manipulator 101 aufbringen zu können. Zur Erfassung der Bewegungen, die auf den Manipulator 101 über den Manipulatoreingriff eingebracht werden können, dienen in der Sensor-Aktoreinheit 102 angebrachte Sensoren, die typischerweise sämtliche Bewegungen, die der Manipulator 101 ausführen kann, detektieren können.
Gemäß einem weiteren typischen Ausführungsbeispiel ist es möglich, in der Sensor-Aktoreinheit 102 eine optische Nachverfolgungseinheit bereitzustellen, die ausgelegt ist zur optischen Nachverfolgung von Bewegungen des Manipulators. Auf diese Weise ist eine mechanische Verbindung zwischen dem Manipulator 101 und der Sensor-Aktoreinheit 102 zur Erfassung der Bewegungen des Manipulators 101 nicht notwendig. Hingegen sei darauf hingewiesen, dass ein in der Sensor-Aktoreinheit 102 angebrachter Aktor zur Aufbringung einer Kraft auf den Manipulator 101 stets auf einer Kopplung der Sensor-Aktoreinheit 102 mit dem Manipulator 101, beispielsweise über eine in 3 gezeigte Koppeleinheit 107, beruht.
4 ist eine weitere perspektivische Ansicht der in 3 gezeigten haptischen Messvorrichtung 500. In Bezug auf 3 ist die in 4 dargestellte haptische Messvorrichtung 500 um eine vertikale Achse gedreht gezeichnet. Es sei hier darauf hingewiesen, dass Komponenten, die bereits unter Bezugnahme auf 3 beschrieben wurden, hier nicht erneut beschrieben werden, um eine redundante Beschreibung zu vermeiden. 4 zeigt wieder die virtuelle Verlängerung 202 des Manipulator 101, wobei der Manipulatorgriff 106 deutlich zu erkennen ist.
5 ist ein Blockdiagramm zur Veranschaulichung einer Funktionsweise der unter Bezugnahme auf 2, 3 und 4 beschriebenen haptischen Messvorrichtung 500. Ein Bezugszeichen 300 bezeichnet eine Auswerteeinheit, die ausgelegt ist zur Auswertung einer Wechselwirkung der virtuellen Verlängerung 202 des Manipulators 101 mit dem virtuellen Objekt 203 (siehe 2). Die Auswerteeinheit 300 empfängt Manipulator-Sensordaten 501 über mindestens einen in der Sensor-Aktoreinheit 102 angebrachten Sensor 301. Der Sensor 301 erfasst eine räumliche Position des Manipulators 101 in dem Interaktionsraum 100. Die Manipulator-Sensordaten 501 spiegeln die räumliche Position wider und dienen zur Berechnung einer Rückkopplungskraft auf den Manipulator 101. Ferner werden der Auswerteeinheit 300 virtuelle Objektdaten 503, die in einer Objektdatenbank 303 gespeichert sein können, zugeführt.
Mit Hilfe der von der Objektdatenbank 303 zugeführten Objektdaten 503 kann die Auswerteeinheit 300 eine virtuelle Wechselwirkung zwischen der virtuellen Verlängerung 202 des Manipulators 101 auf der Grundlage der Manipulator-Sensordaten 501 berechnen. Zur Berechnung einer derartigen virtuellen Wechselwirkung ist eine exakte Bestimmung der Position der Sensor-Aktoreinheit 102 in Bezug auf den Manipulator-Aufsetzpunkt 204 auf dem berührungssensitiven Bildschirm 201 erforderlich.
Da der berührungssensitive Bildschirm 201 als ein Multi-Touch-Schirm ausgelegt ist, kann der berührungssensitive Bildschirm 201 sowohl Positionsdaten der Sensor-Aktoreinheit 504, die den Aktor-Aufsetzpunkt 207 auf dem berührungssensitiven Bildschirm 201 widerspiegeln, als auch Manipulator-Positionsdaten 505, die den Manipulator-Aufsetzpunkt 204 auf dem berührungssensitiven Bildschirm 201 widerspiegeln, ausgeben. Die Positionsdaten 504 der Sensor-Aktoreinheit 102 und die Manipulator-Positionsdaten 505 werden ebenfalls der Auswerteeinheit 300 zugeführt. Auf dem berührungssensitiven Bildschirm 201 wird die virtuelle Verlängerung 202 des Manipulators 101 in den virtuellen Reaktionsraum 200 hinein anzeigt (in 5 nicht dargestellt).
In der Auswerteeinheit 300 wird eine erste Koordinatentransformation durchgeführt, um eine Transformation von Objektkoordinaten des virtuellen Objekts 203, d. h. eine Transformation der virtuellen Objektdaten 503 in Koordinaten der mit dem Manipulator 101 verbundenen Sensor-Aktoreinheit 102 durchzuführen. Da die Positionen sowohl des Aufsetzpunkts 204 des Manipulators 101 als auch des Aktor-Aufsetzpunkts 207 auf dem berührungssensitiven Bildschirm 201 bekannt sind, kann eine Berechnungsvorschrift bereitgestellt werden, die eine Grundlage für eine derartige erste Koordinatentransformation bereitstellt.
Ferner wird durch die Auswerteeinheit 300 eine zweite Koordinatentransformation von Koordinaten der Sensor-Aktoreinheit 102, d. h. der Positionsdaten 504 der Sensor-Aktoreinheit 102 in Koordinaten des Manipulators 101, d. h. in Manipulator-Positionsdaten 505 durchgeführt.
Schließlich ist die Auswerteeinheit 300 ausgelegt zur Ausführung einer dritten Koordinatentransformation von Koordinaten der Sensor-Aktoreinheit 102, d. h. von Positionsdaten 504 der Sensor-Aktoreinheit 102 in Koordinaten der virtuellen Verlängerung 202 des Manipulators 101 in den virtuellen Reaktionsraum 200, d. h. in Koordinaten an der Spitze der virtuellen Verlängerung 202 (1) bzw. in Koordinaten eines virtuellen Werkzeugs 206, das virtuell an der Spitze der virtuellen Verlängerung 200 des Manipulators 101 angebracht ist.
Zumindest eine der ersten, zweiten und dritten Koordinatentransformationen kann als eine rigide Transformation durchgeführt werden. Ferner ist es möglich, dass zumindest eine der ersten, zweiten und dritten Koordinatentransformationen als eine nicht-rigide Transformation durchgeführt wird.
Es sei hier darauf hingewiesen, dass eine rigide oder globale Transformation beispielsweise perspektivische, affine oder isometrische Koordinatentransformationen einschließen kann. Ferner kann eine nicht-rigide Transformation beispielsweise lokale oder nicht-lineare Koordinatentransformationen einschließen.
Eine globale Transformation ist eine Transformation, die jede Ortskoordinate in gleicher Weise verarbeitet, z. B. hinsichtlich einer Änderung der räumlichen Ausrichtung, die durch eine Isometrie beschrieben werden kann. Eine nicht-rigide Transformation ist eine Änderung der räumlichen Ausrichtung, die nur durch nicht-lineare mathematische Abbildungen beschrieben werden kann.
Auf dem virtuellen Bildschirm 201 kann das virtuelle Objekt 203 in dem virtuellen Reaktionsraum 200 in einer Pseudo-3D-Darstellung angezeigt werden. Nach einer Ermittlung der virtuellen Wechselwirkung zwischen der virtuellen Verlängerung 202 des Manipulators 101 und dem virtuellen Objekt 203 (in 5 nicht gezeigt) gibt die Auswerteeinheit 300 Manipulator-Steuerdaten 502 zu mindestens einem Aktor 302 in der Sensor-Aktoreinheit 102 aus.
Durch die Manipulator-Steuerdaten 502 wird eine entsprechende Kraftrückwirkung auf den Manipulator 101 entsprechend der Wechselwirkung der virtuellen Verlängerung des Manipulators 202 mit dem virtuellen Objekt 203 ausgegeben. Durch die Aufbringung einer Kraft kann ein Benutzer, der den Manipulator 101 beispielsweise an dem Manipulatorgriff 106 bewegt, eine Wechselwirkungskraft zwischen der virtuellen Verlängerung 202 des Manipulators 101 und dem virtuellen Objekt 203 erfühlen.
Gemäß einem typischen Ausführungsbeispiel wird mindestens eine haptische Rückwirkung auf den Manipulator 101 auf Grundlage der virtuellen Wechselwirkung der virtuellen Verlängerung 202 des Manipulators mit dem in dem virtuellen Reaktionsraum 200 dargestellten virtuellen Objekt 203 aus der Gruppe gewählt, die besteht aus einer virtuellen Oberflächentextur des virtuellen Objekts, einer Form des virtuellen Objekts, oder volumetrischen Eigenschaften des virtuellen Objekts.
Die 6 und 7 zeigen ein chirurgisches Trainingsgerät 600 unter Verwendung der haptischen Messvorrichtung 500 gemäß mindestens einem typischen Ausführungsbeispiel.
Ein Bezugszeichen 601 bezeichnet einen Bildschirmtisch, welcher in der Form eines Operationstisches ausgelegt sein kann. Ein Teil der Tischoberfläche des Bildschirmtisches 601 besteht aus dem berührungssensitiven Bildschirm 201. Wie in 6 dargestellt, sind zwei haptische Messvorrichtungen 500 auf der Oberfläche des berührungssensitiven Bildschirms 201 angeordnet. Operateure 602, welche den Manipulator 101 der haptischen Messvorrichtung 500 betätigen, können nun eine virtuelle Wechselwirkung der virtuellen Verlängerung des Manipulators 101 mit einem virtuellen Objekt 203 herbeiführen und gleichzeitig eine Kraftrückwirkung auf den Manipulator wahrnehmen.
Gemäß einem typischen Ausführungsbeispiel ist eine Berührungsfläche des berührungssensitiven Bildschirms 201 als die Operationstischfläche ausgelegt. Ferner ist das dargestellte virtuelle Objekt 203 ein menschlicher Körper. Somit wird eine virtuelle Verlängerung 202 des Manipulators 101 in dem virtuellen Reaktionsraum 200 zu dem virtuell dargestellten Körper 203 hin auf dem berührungssensitiven Bildschirm 201 in einer Pseudo-3D-Darstellung angezeigt.
Die Wechselwirkung der virtuellen Verlängerung 202 des Manipulators 101 in dem virtuellen Reaktionsraum 200 mit dem virtuellen Objekt 203 schließt zumindest eine Wechselwirkung aus der Gruppe ein, die besteht aus einem Drücken, Bohren, Verschieben, Einspritzen eines Fluids oder jedweder Kombination davon.
Ferner ist es möglich, dass ein Wechselwirkungsbereich der virtuellen Verlängerung 202 des Manipulators 101 mit dem virtuellen Objekt 203 auf dem berührungssensitiven Bildschirm 201 angezeigt wird. Der Wechselwirkungsbereich stellt somit den möglichen Bewegungsraum der haptischen Verlängerung 202 des Manipulators 101 in dem virtuellen Reaktionsraum 200 dar.
Ausführungsbeispiele, die oben stehend beschrieben sind, können für das Training von Operateuren 602, beispielsweise Medizinstudenten, eingesetzt werden, die den Manipulator 101 betätigen.
8 ist ein Flussdiagramm zur Veranschaulichung eines haptischen Messverfahrens zur haptischen Erfassung eines virtuellen Objekts. Nach einem Start der Prozedur in einem Block 401 wird in einem Block 402 das virtuelle Objekt 203 auf dem berührungssensitiven Bildschirm 201 in dem virtuellen Reaktionsraum 200 dargestellt. Der Manipulator 403 wird an den berührungssensitiven Bildschirm 201 angekoppelt (Block 403), wobei das Ankoppeln aus einem einfachen Aufsetzen des Manipulators 101 am Ort eines Manipulator-Aufsetzpunkts 204 auf der Oberfläche des berührungssensitiven Bildschirm 201 bestehen kann.
Ein Operateur 602 kann schließlich Bewegungen des an den Bildschirm 201 angekoppelten Manipulators 101 in einem Interaktionsraum 100 vor dem Bildschirm 201 ausführen (Block 404). Die Bewegungen des Manipulators 101 werden in einem Block 405 durch mindestens einen in der Sensor-Aktoreinheit 102 untergebrachten Sensor 301 erfasst.
Schließlich erfolgt in einem Block 406 die Auswertung einer virtuellen Wechselwirkung der virtuellen Verlängerung 202 des Manipulators 101 mit dem virtuellen Objekt 203 in dem virtuellen Reaktionsraum 200. Nach einem Auswerten der Wechselwirkung werden Manipulator-Steuerdaten 502 erhalten, die eine Kraft angeben, die in einem Block 407 auf den Manipulator 101 auf Grundlage der berechneten virtuellen Wechselwirkung aufgebracht wird. Die Prozedur endet in einem Block 408.
9 veranschaulicht eine haptische Messvorrichtung 500 zur haptischen Erfassung eines virtuellen Objekts in einem virtuellen Reaktionsraum 200, gemäß einem weiteren typischen Ausführungsbeispiel. Die Schnittansicht der 9 zeigt einen berührungssensitiven Bildschirm 201, der den Raum in den Interaktionsraum 100 (in 9 oberhalb des berührungssensitiven Bildschirms 201) und den virtuellen Reaktionsraum 200 (in 9 unterhalb des berührungssensitiven Bildschirms 201) aufteilt und der ausgelegt ist zur Darstellung des virtuellen Objekts 203 in dem virtuellen Reaktionsraum 200. Der berührungssensitive Bildschirm 201 kann hierbei als ein Multi-Touch-Schirm ausgelegt sein, mit welchem es möglich ist, mehrere Berührungen an der Oberfläche des Bildschirms 201 gleichzeitig zu erkennen.
Der Manipulator 101 kann Bewegungen in dem Interaktionsraum 100 vor dem berührungssensitiven Bildschirm 201 ausführen, indem er beispielsweise durch einen Operateur ergriffen wird. Auf dem berührungssensitiven Bildschirm 201 ist eine mit dem Manipulator 101 verbundene und an den berührungssensitiven Bildschirm 201 angekoppelte Kraftrückkopplungseinheit 705 angeordnet, die ausgelegt ist zur Aufbringung von Kräften auf den Manipulator 101 in dem Interaktionsraum 100. Hierzu wird die Kraftrückkopplungseinheit 705 von einer unter Bezugnahme auf 10 untenstehend beschriebene Auswerteeinheit 300 angesteuert.
Die Kraftrückkopplungseinheit 705 ist mit dem Manipulator 101 über eine Koppeleinheit 107 verbunden, welche ausgelegt ist, Rückkopplungskräfte auf den Manipulator 101 nach Maßgabe der virtuellen Wechselwirkung in dem virtuellen Reaktionsraum 200 aufzubringen.
Der berührungssensitive Bildschirm 201 kann kapazitive und/oder optische Sensoren einschließen, die ausgelegt sind zur Bestimmung eines Aufsetzpunkts 207 der Kraftrückkopplungseinheit 705 auf dem Bildschirm 201. Die Kraftrückkopplungseinheit 700 kann als ein haptisches Gerät mit sechs Bewegungsfreiheitsgraden ausgelegt sein.
Gemäß einem weiteren Ausführungsbeispiel, das mit anderen Ausführungsbeispielen, die hierin beschrieben sind, kombiniert werden kann, weist die Kraftrückkopplungseinheit 705 ein Target 208 auf, welches eine Erkennung ihres Aufsetzpunkts 207 auf die Oberfläche des berührungssensitiven Bildschirms 201 erleichtert. Beispielsweise kann das Target 208 aus einem Material ausgeführt sein, welches eine Erkennung durch die kapazitive Sensorik des berührungssensitiven Bildschirms 201 ermöglicht. Durch eine geeignete Auswahl des Target-Materials kann somit eine Positionserfassung der Kraftrückkopplungseinheit 705 durch den berührungssensitiven Bildschirm 201 verbessert werden.
Ferner kann die Kraftrückkopplungseinheit 705 einen optischen Marker wie beispielsweise eine oder mehrere Lichtquellen aufweisen, die an oder in der Nähe der Aufsetzfläche 207 der Kraftrückkopplungseinheit 705 angebracht sind und eine Primärstrahlung emittieren. Die Aufsetzfläche 207 und somit die Position der Kraftrückkopplungseinheit 705 auf dem berührungssensitiven Bildschirm 201 kann dann durch die Positionserfassungseinheit 700 bestimmt werden, indem der optischen Marker auf Grundlage der emittierten Primärstrahlung detektiert wird.
Ferner weist die in 9 dargestellte haptische Messvorrichtung 500 eine optische Positionserfassungseinheit 700 auf, die ausgelegt ist zur Erfassung einer Position des Manipulators 101 in dem Interaktionsraum 100. Die Erfassung einer räumlichen Position bzw. Lage des Manipulators 101 in dem Interaktionsraum 100 ermöglicht es, eine Abbildung des Manipulators beispielsweise in einer Pseudo-3D-Darstellung auf dem berührungssensitiven Bildschirm 201 und damit in dem virtuellen Reaktionsraum 200 zu ermitteln und anzuzeigen. Eine derartige Abbildung des Manipulators 101 in den virtuellen Reaktionsraum 200 kann beispielsweise durch spiegelnde oder andere Projektionen des Manipulators 101 bereitgestellt werden.
Zur Bestimmung der Position bzw. Lage des Manipulators 101 schließt die optische Positionserfassungseinheit 700 eine Lichtquelle 701 ein, die ausgelegt ist zur Abstrahlung von Primärlicht 703 zur Beleuchtung des Manipulators 101. Die Lichtquelle kann in typischer Weise ausgelegt sein zur Emission von Infrarotlicht in einem Wellenlängenbereich von ungefähr 780 nm bis ungefähr 15 μm, in typischer Weise von 780 nm bis 1,1 μm, und in noch typischerer Weise bei ungefähr 850 nm.
Wie in 9 veranschaulicht, kann die optische Positionserfassungseinheit 700 derart angeordnet sein, dass der Manipulator 101 durch die Oberfläche des berührungssensitiven Bildschirms 201 hindurch mit dem von der Lichtquelle 701 emittierten Primärlicht 703 beleuchtbar ist.
Zur Verbesserung einer Positionserfassung des Manipulators 101 durch die optische Positionserfassungseinheit 700 kann der Manipulator einen Marker 709 aufweisen, der ausgelegt ist, von der optischen Positionserfassungseinheit 700 erkannt zu werden, wie beispielsweise ein Infrarotlicht reflektierendes Element an einem Ende des Manipulators.
Ferner schließt die optische Positionserfassungseinheit 700 einen optischen Detektor 702 ein, der ausgelegt ist zur Erfassung von am Manipulator 101 und/oder am Marker 709 reflektiertem Primärlicht 704. Der optische Detektor 702 ist typischer Weise aus der Gruppe gewählt, die besteht aus einem Zeilendetektor, einem zweidimensionalen Detektor, einer CCD-Kamera, einer positionsempfindlichen Flächendiode, oder jedweder Kombination davon.
Gemäß einem typischen Ausführungsbeispiel, welches mit anderen hierin beschriebenen Ausführungsbeispielen kombiniert werden kann, kann der optische Detektor 702 ausgelegt sein zur Erfassung von reflektiertem Infrarotlicht 704 in einem Wellenlängenbereich von ungefähr 780 nm bis ungefähr 15 μm, in typischer Weise von 780 nm bis 1,1 μm, und in noch typischerer Weise bei ungefähr 850 nm.
Weiterhin ist es möglich, obwohl dies in 9 nicht gezeigt ist, dass die optische Positionserfassungseinheit 700 in dem Interaktionsraum 100, d. h. vor dem berührungssensitiven Bildschirm 201 angeordnet ist und eine Positions- bzw. Lagebestimmung des Manipulators 101 vornimmt.
Gemäß einem weiteren Ausführungsbeispiel, das mit anderen hierin beschriebenen Ausführungsbeispielen kombiniert werden kann, schließt die Positionserfassungseinheit 700 eine an dem Manipulator 101 angeordnete Lichtquelle ein, die ausgelegt ist zur Emission von Primärlicht. Der optische Detektor 702 ist ferner ausgelegt zur Erfassung des von der Lichtquelle emittierten Primärlichts, wobei die Bestimmungseinheit 710 ausgelegt ist zur Bestimmung der Position des Manipulators 101 auf Grundlage des erfassten Primärlichts, welches von der am Manipulator 101 angeordneten Lichtquelle emittiert wird.
Gemäß noch einem weiteren Ausführungsbeispiel schließt die Positionserfassungseinheit 700 eine Lichtquelle, die ausgelegt ist zur Abstrahlung von Primärlicht zur Beleuchtung der Kraftrückkopplungseinheit 705, einen optischen Detektor, der ausgelegt ist zur Erfassung von an der Kraftrückkopplungseinheit 705 reflektiertem Primärlicht und eine Bestimmungseinheit 710 ein, die ausgelegt ist zur Bestimmung der Position der Kraftrückkopplungseinheit 705 auf Grundlage des erfassten reflektierten Primärlichts.
10 zeigt ein Blockdiagramm der in 9 veranschaulichten haptischen Messvorrichtung mit einer Darstellung von Signal- und Datenflüssen. Ein Bezugszeichen 300 bezeichnet eine Auswerteeinheit, die ausgelegt ist zur Auswertung einer Wechselwirkung der Abbildung bzw. Projektion des Manipulators 101 mit dem virtuellen Objekt 203 (siehe 2).
Die Positionserfassungseinheit 700 schließt die Lichtquelle 701, den optischen Detektor 702 und eine Koordinatenbestimmungseinheit 710 ein. Ein Bezugszeichen 201 zeigt die Position des berührungssensitiven Bildschirms in Bezug auf die Positionserfassungseinheit 700 an, d. h. das Primärlicht 703 und am Manipulator 101 (nicht gezeigt) reflektiertes Primärlicht 704 wird durch den Bildschirm gestrahlt.
Die in 10 gezeigte Auswerteeinheit 300 ist ausgelegt zur Auswertung einer Wechselwirkung der Abbildung bzw. Projektion des Manipulators 101 in dem virtuellen Reaktionsraum 200 mit dem virtuellen Objekt auf Grundlage der erfassten Position des Manipulators 101 in dem Interaktionsraum 100 und zur Steuerung der Kraftrückkopplungseinheit 705 auf Grundlage der Wechselwirkung. Die Auswerteeinheit 300 empfängt Manipulatorkoordinaten 707 von der in der optischen Positionserfassungseinheit 700 angeordneten Bestimmungseinheit 710. Die Manipulatorkoordinaten 707 spiegeln die räumliche Position und Lage des Manipulators 101 in dem Interaktionsraum 100 wider und dienen als Grundlage für eine Ermittlung einer Rückkopplungskraft auf den Manipulator 101. Hierzu stellt die Auswerteeinheit Manipulator-Steuerdaten 502 bereit, die der Kraftrückkopplungseinheit 705 zur Aufbringung der Kraft zugeführt werden.
Ferner werden der Auswerteeinheit 300 virtuelle Objektdaten 503, die in einer Objektdatenbank 303 gespeichert sein können, zugeführt. Mit Hilfe der von der Objektdatenbank 303 zugeführten Objektdaten 503 kann die Auswerteeinheit 300 eine virtuelle Wechselwirkung zwischen der Abbildung des Manipulators 101 in dem virtuellen Reaktionsraum 200 und dem virtuellen Objekt 203 ermitteln.
Der berührungssensitive Bildschirm 201 ermittelt Positionsdaten der Kraftrückkopplungseinheit 705 die deren Aufsetzpunkt 207 auf dem berührungssensitiven Bildschirm 201 widerspiegeln. Die Positionsdaten 504 der Kraftrückkopplungseinheit 705 werden ebenfalls der Auswerteeinheit 300 zugeführt.
In der Auswerteeinheit 300 wird eine erste Koordinatentransformation durchgeführt, um eine Transformation von Objektkoordinaten des virtuellen Objekts 203, d. h. eine Transformation der virtuellen Objektdaten 503 in Koordinaten der mit dem Manipulator 101 verbundenen Kraftrückkopplungseinheit 705 durchzuführen. Da die Positionen sowohl des nicht auf den Bildschirm 201 aufgesetzten Manipulators 101 als auch des Aufsetzpunkts 207 der Kraftrückkopplungseinheit 705 auf dem berührungssensitiven Bildschirm 201 bekannt sind, kann eine Berechnungsvorschrift ermittelt werden, die eine Grundlage für eine derartige erste Koordinatentransformation bereitstellt.
Ferner wird durch die Auswerteeinheit 300 eine zweite Koordinatentransformation von Koordinaten der Kraftrückkopplungseinheit 705, d. h. der Positionsdaten 504 der Kraftrückkopplungseinheit 705 in Koordinaten des Manipulators 101, d. h. in Manipulatorkoordinaten 707 durchgeführt.
Schließlich ist die Auswerteeinheit 300 ausgelegt zur Ausführung einer dritten Koordinatentransformation von Koordinaten der Kraftrückkopplungseinheit 705, d. h. von Positionsdaten 504 der Kraftrückkopplungseinheit 705 in Koordinaten der Projektion des Manipulators 101 in dem virtuellen Reaktionsraum 200.
Zumindest eine der ersten, zweiten und dritten Koordinatentransformationen kann als eine rigide Transformation durchgeführt werden. Ferner ist es möglich, dass zumindest eine der ersten, zweiten und dritten Koordinatentransformationen als eine nicht-rigide Transformation durchgeführt wird.
Auf dem virtuellen Bildschirm 201 kann das virtuelle Objekt 203 in dem virtuellen Reaktionsraum 200 in einer Pseudo-3D-Darstellung angezeigt werden. Nach einer Ermittlung der virtuellen Wechselwirkung zwischen der Projektion des Manipulators 101 und dem virtuellen Objekt 203 (in 5 nicht gezeigt) gibt die Auswerteeinheit 300 die Manipulator-Steuerdaten 502 zu der Kraftrückkopplungseinheit 705 aus.
Durch die Manipulator-Steuerdaten 502 wird eine entsprechende Kraftrückwirkung auf den Manipulator 101 entsprechend der Wechselwirkung der Projektion des Manipulators 202 mit dem virtuellen Objekt 203 ausgegeben. Durch die Aufbringung einer Kraft kann ein Benutzer (Operateur), der den Manipulator 101 beispielsweise an dem Manipulatorgriff 106 bewegt, eine Wechselwirkungskraft zwischen der Projektion des Manipulators 101 und dem virtuellen Objekt 203 erfühlen.
Gemäß einem weiteren typischen Ausführungsbeispiel schließt die mit dem Manipulator 101 verbundene Kraftrückkopplungseinheit 705 einen Positionssensor 706 ein, der ausgelegt ist zur Erfassung der Position des Manipulators 101 und zur Ausgabe von Positionsdaten 708 auf Grundlage der Erfassung. Auf diese Weise stehen der Auswerteeinheit 300 zusätzliche Daten zur Positions- und Lagebestimmung des Manipulators 101 in dem Interaktionsraum 100 zur Verfügung.
Obwohl die vorliegende Erfindung vorstehend anhand bevorzugter Ausführungsbeispiele beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Weise modifizierbar.
Auch ist die Erfindung nicht auf die genannten Anwendungsmöglichkeiten beschränkt.
Bezugszeichenliste

100: Interaktionsraum
101: Manipulator
102: Sensor-Aktoreinheit
103: Manipulatorstab
104: Manipulatorhülse
105: Manipulator-Verschieberichtung
106: Manipulatorgriff
107: Koppeleinheit
200: virtueller Reaktionsraum
201: berührungssensitiver Bildschirm
202: virtuelle Verlängerung
203: virtuelles Objekt
204: Manipulator-Aufsetzpunkt
205: Fixiereinrichtung
206: virtuelles Werkzeug
207: Aktor-Aufsetzpunkt
208: Target
300: Auswerteeinheit
301: Sensor
302: Aktor
303: Objektdatenbank
500: haptische Messvorrichtung
501: Manipulator-Sensordaten
502: Manipulator-Steuerdaten
503: virtuelle Objektdaten
504: Positionsdaten der Sensor-Aktoreinheit bzw. der Kraftrückkopplungseinheit
505: Manipulator-Positionsdaten
600: Chirurgische Trainingsgerät
601: Bildschirmtisch
602: Operateur
603: Tischoberfläche
700: Optische Positionserfassungseinheit
701: Lichtquelle
702: Optischer Detektor
703: Primärlicht
704: Reflektiertes Primärlicht
705: Kraftrückkopplungseinheit
706: Positionssensor
707: Manipulatorkoordinaten
708: Positionsdaten
709: Manipulatormarker
710: Koordinatenbestimmungseinheit

Claims

Haptische Messvorrichtung, die ausgelegt ist zur haptischen Erfassung eines virtuellen Objekts, umfassend: einen berührungssensitiven Bildschirm, der ausgelegt ist zur Darstellung des virtuellen Objekts in einem virtuellen Reaktionsraum; einen auf den berührungssensitiven Bildschirm aufsetzbaren Manipulator, der ausgelegt ist zur Ausführung von Bewegungen in einem Interaktionsraum vor dem berührungssensitiven Bildschirm; eine mit dem Manipulator verbundene und auf den berührungssensitiven Bildschirm aufgesetzte Sensor-Aktoreinheit, die ausgelegt ist zur Erfassung von Bewegungen des Manipulators und zur Aufbringung von Kräften auf den Manipulator in dem Interaktionsraum; und eine Auswerteeinheit, die ausgelegt ist zur Auswertung einer Wechselwirkung einer virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt in dem virtuellen Reaktionsraum und zur Steuerung der Sensor-Aktoreinheit auf Grundlage der Wechselwirkung.
Messvorrichtung nach Anspruch 1, wobei der berührungssensitive Bildschirm als ein Multi-Touch-Schirm ausgelegt ist.
Messvorrichtung nach Anspruch 1 oder 2, wobei der berührungssensitive Bildschirm kapazitive und/oder optische Sensoren umfasst, die ausgelegt sind zur Bestimmung eines Aufsetzpunkts des Manipulators und/oder der Sensor-Aktoreinheit auf dem Bildschirm.
Messvorrichtung nach mindestens einem der voranstehenden Ansprüche, wobei der Manipulator als ein durch eine Hülse geführter Stab oder als eine durch einen Stab geführte Hülse ausgebildet ist.
Messvorrichtung nach Anspruch 4, wobei der durch die Hülse geführter Stab als ein Teleskop-Stylus ausgebildet ist.
Messvorrichtung nach mindestens einem der voranstehenden Ansprüche, ferner umfassend eine Fixiereinrichtung, die ausgelegt ist zur Fixierung des Aufsetzpunkts des Manipulators auf dem berührungssensitiven Bildschirm.
Messvorrichtung nach mindestens einem der voranstehenden Ansprüche, wobei die Sensor-Aktoreinheit als ein haptisches Gerät mit sechs Bewegungsfreiheitsgraden ausgelegt ist.
Messvorrichtung nach mindestens einem der voranstehenden Ansprüche, wobei eine Aufsetzfläche der Sensor-Aktoreinheit ein durch den berührungssensitiven Bildschirm detektierbares Target umfasst.
Haptisches Messverfahren zur haptischen Erfassung eines virtuellen Objekts, mit den Schritten: Darstellen des virtuellen Objekts auf einem berührungssensitiven Bildschirm in einem virtuellen Reaktionsraum; Ankoppeln des Manipulators an den berührungssensitiven Bildschirm; Ausführen von Bewegungen des an den Bildschirm angekoppelten Manipulators in einem Interaktionsraum vor dem Bildschirm; Erfassen der Bewegungen des Manipulators; Auswerten einer Wechselwirkung einer virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt in dem virtuellen Reaktionsraum; und Aufbringen mindestens einer Kraft auf den Manipulator auf Grundlage der Wechselwirkung.
Messverfahren nach Anspruch 9, wobei das Ankoppeln des Manipulators auf den berührungssensitiven Bildschirm kapazitiv und/oder optisch erfasst wird.
Messverfahren nach Anspruch 9 oder 10, wobei der Manipulator nach einem Aufbringen der Kraft nur entlang eines virtuellen Einführungskanals in Richtung einer Achse des Manipulators beweglich ist.
Messverfahren nach mindestens einem der Ansprüche 9 bis 11, wobei auf dem Bildschirm eine virtuelle Verlängerung des Manipulators in den virtuellen Reaktionsraum angezeigt wird.
Messverfahren nach mindestens einem der Ansprüche 9 bis 12, wobei eine erste Koordinatentransformation von Objektkoordinaten in dem virtuellen Reaktionsraum in Koordinaten einer mit dem Manipulator verbundenen Sensor-Aktoreinheit durchgeführt wird.
Messverfahren nach Anspruch 13, wobei eine zweite Koordinatentransformation von Koordinaten der Sensor-Aktoreinheit in Koordinaten des Manipulators durchgeführt wird.
Messverfahren nach Anspruch 13 oder 14, wobei eine dritte Koordinatentransformation von Koordinaten der Sensor-Aktoreinheit in Koordinaten der virtuellen Verlängerung des Manipulators in den virtuellen Reaktionsraum durchgeführt wird.
Messverfahren nach mindestens einem der Ansprüche 13 bis 15, wobei zumindest eine der ersten, zweiten und dritten Koordinatentransformationen als eine rigide Transformation durchgeführt wird.
Messverfahren nach mindestens einem der Ansprüche 13 bis 15, wobei zumindest eine der ersten, zweiten und dritten Koordinatentransformationen als eine nicht-rigide Transformation durchgeführt wird.
Messverfahren nach mindestens einem der Ansprüche 9 bis 17, wobei das Darstellen des virtuellen Objekts in dem virtuellen Reaktionsraum eine Pseudo-3D-Darstellung des virtuellen Objekts umfasst.
Messverfahren nach mindestens einem der Ansprüche 9 bis 18, wobei ein Wechselwirkungsbereich der virtuellen Verlängerung des Manipulators mit dem virtuellen Objekt auf dem berührungssensitiven Bildschirm angezeigt wird.
Chirurgisches Trainingsgerät, umfassend eine haptische Messvorrichtung nach mindestens einem der Ansprüche 1 bis 8.
Chirurgisches Trainingsgerät nach Anspruch 20, wobei eine Berührungsfläche des berührungssensitiven Bildschirms als eine Operationstischfläche ausgelegt ist, und wobei das dargestellte virtuelle Objekt ein menschlicher Körper ist.
Haptische Messvorrichtung, die ausgelegt ist zur haptischen Erfassung eines virtuellen Objekts, umfassend: einen berührungssensitiven Bildschirm, der ausgelegt ist zur Darstellung des virtuellen Objekts in einem virtuellen Reaktionsraum; einen Manipulator, der ausgelegt ist zur Ausführung von Bewegungen in einem Interaktionsraum vor dem berührungssensitiven Bildschirm; eine mit dem Manipulator verbundene und an den berührungssensitiven Bildschirm angekoppelte Kraftrückkopplungseinheit, die ausgelegt ist zur Aufbringung von Kräften auf den Manipulator in dem Interaktionsraum; eine optische Positionserfassungseinheit, die ausgelegt ist zur Erfassung einer Position des Manipulators in dem Interaktionsraum; und eine Auswerteeinheit, die ausgelegt ist zur Auswertung einer Wechselwirkung einer Abbildung des Manipulators in dem virtuellen Reaktionsraum mit dem virtuellen Objekt auf Grundlage der erfassten Position des Manipulators in dem Interaktionsraum und zur Steuerung der Kraftrückkopplungseinheit auf Grundlage der Wechselwirkung.
Messvorrichtung nach Anspruch 22, wobei die Positionserfassungseinheit umfasst: eine Lichtquelle, die ausgelegt ist zur Abstrahlung von Primärlicht zur Beleuchtung des Manipulators; einen optischen Detektor, der ausgelegt ist zur Erfassung von am Manipulator reflektiertem Primärlicht; und eine Bestimmungseinheit, die ausgelegt ist zur Bestimmung der Position des Manipulators auf Grundlage des erfassten reflektierten Primärlichts.
Messvorrichtung nach Anspruch 23, wobei der optische Detektor gewählt ist aus der Gruppe, die besteht aus einem Zeilendetektor, einem zweidimensionalen Detektor, einer CCD-Kamera, einer positionsempfindlichen Flächendiode, oder jedweder Kombination davon.
Messvorrichtung nach Anspruch 23 oder 24, wobei die Lichtquelle ausgelegt ist zur Emission von Infrarotlicht in einem Wellenlängenbereich von ungefähr 780 nm bis ungefähr 15 μm, in typischer Weise von 780 nm bis 1,1 μm, und in noch typischerer Weise bei ungefähr 850 nm.
Messvorrichtung nach mindestens einem der Ansprüche 23 bis 25, wobei der optische Detektor ausgelegt ist zur Erfassung von reflektiertem Infrarotlicht in einem Wellenlängenbereich von ungefähr 780 nm bis ungefähr 15 μm, in typischer Weise von 780 nm bis 1,1 μm, und in noch typischerer Weise bei ungefähr 850 nm.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 26, wobei die mit dem Manipulator verbundene Kraftrückkopplungseinheit einen Positionssensor umfasst, der ausgelegt ist zur Erfassung der Position des Manipulators und zur Ausgabe von Positionsdaten auf Grundlage der Erfassung.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 27, wobei der Manipulator einen Marker umfasst, der ausgelegt ist, von der optischen Positionserfassungseinheit zur Erfassung der Position des Manipulators erkannt zu werden.
Messvorrichtung nach mindestens einem der Ansprüche 23 bis 28, wobei die optische Positionserfassungseinheit derart angeordnet ist, dass der Manipulator durch eine Oberfläche des berührungssensitiven Bildschirms hindurch beleuchtbar ist.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 28, wobei die optische Positionserfassungseinheit in dem Interaktionsraum vor dem berührungssensitiven Bildschirm angeordnet ist.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 30, wobei der berührungssensitive Bildschirm als ein Multi-Touch-Schirm ausgelegt ist.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 31, wobei der berührungssensitive Bildschirm kapazitive und/oder optische Sensoren umfasst, die ausgelegt sind zur Bestimmung eines Aufsetzpunkts der Kraftrückkopplungseinheit auf dem Bildschirm.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 32, wobei die Kraftrückkopplungseinheit als ein haptisches Gerät mit sechs Bewegungsfreiheitsgraden ausgelegt ist.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 33, wobei eine Aufsetzfläche der Kraftrückkopplungseinheit ein durch den berührungssensitiven Bildschirm detektierbares Target umfasst.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 34, wobei die Positionserfassungseinheit umfasst: eine an dem Manipulator angeordnete Lichtquelle, die ausgelegt ist zur Emission von Primärlicht; einen optischen Detektor, der ausgelegt ist zur Erfassung des von der Lichtquelle emittierten Primärlichts; und eine Bestimmungseinheit, die ausgelegt ist zur Bestimmung der Position des Manipulators auf Grundlage des erfassten Primärlichts.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 35, wobei eine Aufsetzfläche der Kraftrückkopplungseinheit mindestens einen durch die Positionserfassungseinheit detektierbaren optischen Marker umfasst.
Messvorrichtung nach mindestens einem der Ansprüche 22 bis 36, wobei die Positionserfassungseinheit umfasst: eine Lichtquelle, die ausgelegt ist zur Abstrahlung von Primärlicht zur Beleuchtung der Kraftrückkopplungseinheit; einen optischen Detektor, der ausgelegt ist zur Erfassung von an der Kraftrückkopplungseinheit reflektiertem Primärlicht; und eine Bestimmungseinheit, die ausgelegt ist zur Bestimmung der Position der Kraftrückkopplungseinheit auf Grundlage des erfassten reflektierten Primärlichts.