DE102006035292A1 - Position associated information transmitting method, involves indicating information in actual reality by indicator, light beam, light source, and beam deflecting unit, where position of light source is determined by tracking system - Google Patents

Position associated information transmitting method, involves indicating information in actual reality by indicator, light beam, light source, and beam deflecting unit, where position of light source is determined by tracking system

Info

Publication number
DE102006035292A1
DE102006035292A1 DE200610035292 DE102006035292A DE102006035292A1 DE 102006035292 A1 DE102006035292 A1 DE 102006035292A1 DE 200610035292 DE200610035292 DE 200610035292 DE 102006035292 A DE102006035292 A DE 102006035292A DE 102006035292 A1 DE102006035292 A1 DE 102006035292A1
Authority
DE
Grant status
Application
Patent type
Prior art keywords
system
position
reality
display device
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE200610035292
Other languages
German (de)
Other versions
DE102006035292B4 (en )
Inventor
Rainer Konietschke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fur Luft- und Raumfahrt eV
Original Assignee
Deutsches Zentrum fur Luft- und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41805Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • A61B2018/2015Miscellaneous features
    • A61B2018/2025Miscellaneous features with a pilot laser
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31048Project on workpiece, image of finished workpiece, info or a spot

Abstract

The method involves indicating the position associated information in the actual reality by an indicator, a light beam (5), a light source (3), and a controlled light beam deflecting unit (4). The position of the light source is determined by a tracking system (6). The position of the deflected system is computed and adjusted from the position of the light source and the information is transformed from the virtual reality to the actual reality. The diverted light beam remains directed toward the assigned position. An independent claim is also included for a system for execution of position associated information transmitting method.

Description

  • Die Erfindung betrifft ein Verfahren zum Übertragen von positionszugeordneten Informationen aus einer virtuellen räumlichen Realität in eine tatsächliche räumliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen räumlichen Realität, wobei die in der virtuellen Realität aufgenommenen Informationen in Bezug auf ein der virtuellen Realität zugeteiltes Koordinatensystem bestimmt werden und zur Darstellung in der tatsächlichen Realität eine Registrierung vorgenommen wird, bei der eine Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden. The invention relates to a method for transmitting positionszugeordneten information from a virtual three-dimensional reality into an actual physical reality and to display this information in the actual spatial reality, said in virtual reality recorded information relating to a virtual reality zugeteiltes Koordinatensystem be determined and to show in the actual reality registration in a transformation matrix is ​​determined which transforms the allocated virtual reality system of coordinates in a coordinate system of a tracking system so that the transferred into the actual reality information is displayed in this transformation faithful is made.
  • Die Erfindung betrifft auch ein System zur Durchführung des Verfahrens. The invention also relates to a system for carrying out the method.
  • Ein wichtiges und beispielhaftes Anwendungsgebiet des durch die Erfindung zu schaffenden Verfahrens soll im Bereich der minimalinvasiven chirurgischen Operationen, also sogenannter "Schlüsselloch"-Operationen liegen, bei denen mit langen, stabförmigen medizinischen Instrumenten durch künstlich erstellte Körperöffnungen hindurch operiert wird. An important and exemplary application of the to be created by the invention process should be in the field of minimally invasive surgical operations, ie so-called "keyhole" operations, in which operates with long, rod-like medical instruments through artificially created body openings. Vor der eigentlichen Durchführung solcher minimalinvasiver Operationen ist eine präoperative Planung erforderlich, da der Ort auf der Körperoberfläche, an welchem der Chirurg den Einstichpunkt in den Körper des Patienten setzt, großen Einfluss auf die Erreichbarkeit der Stelle hat, an der innerhalb des Körpers operiert werden soll. Before the actual implementation of such minimally invasive surgery, preoperative planning is necessary because of the location on the body surface, sets on which the surgeon the puncture in the patient's body, has great influence on the accessibility of the location to be at the surgery within the body , Daher ist es wichtig, vor der Operation anhand von präoperativem Bildmaterial, wie zB Computertomographie(CT)-Daten, zu untersuchen, wo an der Körperoberfläche ein oder mehrere Einstichpunkte liegen sollten. Therefore, it is important to investigate (CT) data before surgery based on preoperative images, such as computed tomography, where should lie on the body surface, one or more injection points.
  • Das Ergebnis der präoperativen Phase sind in diesem Fall die Koordinaten der Einstichpunkte relativ zu demjenigen Koordinatensystem, in dem die präoperativen Daten aufgenommen wurden. The result of the pre-operative phase, in this case, the coordinates of the insertion points relative to that coordinate system in which the pre-operative data were taken.
  • Damit dann im Operationssaal die Koordinaten der Einstichpunkte auf der Körperoberfläche des Patienten eingezeichnet werden können, wird im allgemeinen ein Trackingsystem verwendet, das es ermöglicht, die Lage von Gegenständen im Raum relativ zu dem Koordinatensystem des Trackingsystems zu messen. So that in the operating room, the coordinates of injection points may be located on the body surface of the patient, generally a tracking system is used which makes it possible to measure the position of objects in space relative to the coordinate system of the tracking system. Um die Planungsergebnisse der präoperativen Phase, also aus der virtuellen Realität, in den Operationssaal, also in die tatsächliche Realität, zu übertragen, ist daher zunächst eine sogenannte Registrierung durchzuführen, bei der die Transformationsmatrix ermittelt wird, die das Koordinatensystem, in dem das präoperative Bildmaterial vorliegt, in das Koordinatensystem des Trackingsystems im Operationssaal transformiert. Therefore, the planning results of preoperative phase, ie from virtual reality to transfer to the operating room, so in the actual reality is to first perform a so-called registration, in which the transformation matrix is ​​determined, the coordinate system in which the preoperative visual material that is present, transformed into the coordinate system of the tracking system in the operating room.
  • Allgemeiner betrachtet handelt es sich also um Anwendungen, bei denen die virtuelle Realität mit der tatsächlichen Realität abgeglichen werden soll. So more generally is applications where virtual reality is to be checked against the actual reality. Es ist also in Form der virtuellen Realität ein Modell der tatsächlichen Realität vorhanden, in dem Positionsinformationen oder ganz allgemein positionszugeordnete Informationen existieren, die in die tatsächliche Realität übertragen werden sollen. So it is in the form of virtual reality a model of the actual reality exist, exist in the position information or general position associated information to be transferred to the actual reality.
  • Zum Abgleich zwischen virtueller Welt und realer Welt gibt es einige bekannte Möglichkeiten, die nachfolgend angegeben werden. To balance between the virtual world and the real world there are some known ways that are given below.
  • Mit Hilfe eines getrackten Zeigestabs können Positions- und Orientierungsdaten aus der virtuellen Welt in die reale Welt übertragen werden. Using a tracked pointing rod position and orientation data from the virtual world can be transferred into the real world. Dazu wird die Position der Spitze des Zei gestabs gemessen und mit der zu findenden Position in der virtuellen Realität verglichen. For this, the position of the tip of Zei is gestabs measured and compared with the to-find position in the virtual reality. Die aktuelle Position des Zeigestabs kann in der virtuellen Realität angezeigt werden und der Benutzer kann nun die Position des Zeigestabs mit der Ziel-Position, die ebenfalls in der virtuellen Realität angezeigt wird, abgleichen. The current position of the pointing rod can be displayed in the virtual reality and the user can now match the position of the pointing stick with the target position is also displayed in the virtual reality. Befindet sich der "virtuelle" Zeigestab in der virtuellen Realität an der gewünschten Position, so ist auch der reale Zeigestab an der korrespondierenden Position. the is "virtual" pointer in virtual reality at the desired position, so is the real pointer at the corresponding position. Wahlweise wäre ein akustisches Feedback denkbar. Optionally, an acoustic feedback would be conceivable. Die Ermittlung der gewünschten Lage ist in diesem Fall manuell durch den Benutzer durchzuführen. The determination of the desired position is carried out manually in this case by the user. Es erfolgt also keine automatische Ermittlung. So there is no automatic detection.
  • Eine Alternative dazu besteht darin, die zu findenden Positionen durch einen getrackten Roboter anzufahren. An alternative is to go to find positions by a tracked robot. Dieser könnte so gesteuert werden, dass seine Spitze auf die Stelle zeigt, die aus der virtuellen Realität in die tatsächliche Realität übertragen werden soll. This could be controlled so that its tip points to the location that is to be transferred from the virtual reality of the actual reality.
  • Aus Out US-5 617 857 A US 5617857 A ist ein Abbildungssystem mit einem medizinischen Instrument bekannt, das eine Quelle zum Ausstrahlen detektierbarer Energie und einen Instrumentenkörper mit einem Arbeitsteil enthält. discloses an imaging system with a medical instrument, comprising a source for emitting detectable energy and an instrument body having a working part. Das Abbildungssystem umfasst außerdem einen Detektor zum Detektieren der Energie und einen Prozessor zum Ermitteln des Ortes des medizinischen Instruments auf der Grundlage der detektierten Energie. The imaging system also includes a detector for detecting the energy and a processor for determining the location of the medical instrument on the basis of the detected energy. In diesem bekannten Abbildungssystem ist am medizinischen Instrument ein Speicher zum Speichern von Anfangsinformationen, wie zB der Lage der energieausstrahlenden Mittel in Bezug auf den Instrumentenkörper, vorgesehen. In this known imaging system on the medical instrument is a memory for storing initial information such as the position of the energy emitting means with respect to the instrument body is provided. Eine Übertragungseinrichtung ist zum Übertragen der Anfangsinformationen aus dem Speicher zum Prozessor nach Verbindung des medizinischen Instruments mit dem Prozessor vorgesehen. A transfer device is provided for transmitting the initial information from the memory to the processor after connection of the medical instrument with the processor. Auf diese Weise kann der Prozessor dann sich selbst entsprechend dem beigefügten Instrument konfigu rieren, so dass das System dem Ort des Instrumentenkörpers im dreidimensionalen Raum nach Detektion der ausgestrahlten Energie folgen kann. In this way, the processor can then himself Center confi according to the attached tool so that the system can follow the three-dimensional space upon detection of the emitted energy to the location of the instrument body.
  • Aus Out US 5 803 089 A US 5803089 A ist ein System zum Überwachen der Position eines medizinischen Instruments in Bezug auf einen Patientenkörper und zum Darstellen wenigstens eines aus einer Vielzahl von vorher aufgezeichneten Bildern dieses auf die Position des medizinischen Instruments ansprechbaren Körpers bekannt. discloses a system for monitoring the position of a medical instrument relative to a patient's body and for displaying at least one of a plurality of prerecorded images of this responsive to the position of the medical instrument body. Das System enthält eine Referenzeinheit, eine abgesetzte Einheit, einen positionscharakteristischen Feldgenerator, einen Feldsensor, einen Positionsdetektor und eine Darstellungseinrichtung am Ausgang. The system includes a reference unit, a remote unit, a position characteristic field generator, a field sensor, a position detector and a display means at output. Die Referenzeinheit ist bezüglich wenigstens einem Teil des Patientenkörpers unbeweglich, so dass sie in Bezug auf einen Zieloperationsplatz im wesentlichen unbeweglich ist. The reference unit with respect to at least immobile part of the patient's body, so that it is immovable with respect to a target operation space substantially. Die abgesetzte Einheit ist am medizinischen Instrument angebracht. The remote unit is attached to the medical instrument.
  • Der Feldgenerator ist entweder mit der Referenzeinheit oder der abgesetzten Einheit verbunden und erzeugt ein positionscharakteristisches Feld in einem den Zieloperationsplatz einschließenden Bereich. The field generator is connected either to the reference unit or remote unit and generating a position characteristic field in an inclusive target operation space area. Der Feldsensor ist mit der jeweils anderen Einheit verbunden und spricht auf das Vorliegen des Feldes an, um ein dem erfassten Feld entsprechendes Sensorausgangssignal zu erzeugen. The field sensor is connected to the respective other unit and is responsive to the presence of the field, to generate a corresponding to the detected field sensor output signal. Der Positionsdetektor steht mit dem Sensorausgangssignal in Verbindung und erzeugt Positionsdaten, die der Position der abgesetzten Einheit in Bezug auf die Referenzeinheit entsprechen. The position detector communicates with the sensor output signal in combination, and generates position data corresponding to the position of said remote unit with respect to the reference unit. Die ausgangsseitige Darstellungseinrichtung steht mit dem Positionsdetektor in Verbindung, um wenigstens eines der vorher aufgezeichneten Bilder, die auf die Positionsdaten ansprechen, anzuzeigen. The output-side display device is connected to the position detector in connection to display at least one of the prerecorded images responsive to the position data.
  • Dieses bekannte System umfasst außerdem eine Registrierungseinheit, die mit dem Speicher und den Positionsdaten in Ver bindung steht. This known system further comprises a registration unit in communication with the memory and the position data, in conjunction. Der Speicher speichert die Vielzahl von vorher aufgezeichneten Bildern des Körpers. The memory stores the plurality of pre-recorded images of the body. Jedes vorher aufgezeichnete Bild entspricht einem ebenen Bereich innerhalb des Körpers, so dass die Vielzahl der durch die aufgezeichneten Bilder dargestellten ebenen Bereiche ein erstes Koordinatensystem definieren. Each pre-recorded image corresponds to a planar region within the body, so that the plurality of represented by the recorded images planar portions defining a first coordinate system. Die Registrierungseinheit korreliert die Positionsdaten eines zweiten Koordinatensystems, so wie es durch den Positionsdetektor definiert ist, mit der Vielzahl der vorher aufgezeichneten Bilder des ersten Koordinatensystems und identifiziert ein gewünschtes vorher aufgezeichnetes Bild, das mit der Position der abgesetzten Einheit in Bezug auf den Patientenkörper verbunden ist. The registration unit correlates the position data of a second coordinate system, as it is defined by the position detector, with the plurality of prerecorded images of the first coordinate system and identifies a desired pre-recorded image that is associated with the position of the remote unit relative to the patient's body ,
  • In In US 6 529 758 B2 US 6,529,758 B2 ist ein bildgeführtes chirurgisches Verfahren unter Verwendung einer Registrierung präoperativer räumlicher Abtastdaten beschrieben, die vor dem chirurgischen Eingriff erfasst worden sind, bezüglich dem Patienten registriert wurden und zum Aufbauen eines räumlichen perspektivischen Bildes der chirurgischen Eingriffsstelle verwendet werden. described preoperative spatial sampling data, which have been detected prior to the surgical procedure are registered with respect to the patient and be used for constructing a three-dimensional perspective image of the surgical site an image-guided surgical procedure using a registry. Die Registrierung der räumlichen Abtastdaten kann hierbei durch Erzeugung eines Lichtmusters auf der Patientenoberfläche durch Bewegen eines Laserstrahls über die chirurgische Eingriffsstelle erreicht werden. The registration of the spatial scan may in this case be achieved by generating a light pattern on the patient surface by moving a laser beam across the surgical site. Das Lichtmuster wird durch wenigstens zwei Kameras aus verschiedenen festen Positionen aufgenommen, digitalisiert und zum Bilden einer Laserrekonstruktion der Patientenoberfläche verwendet. The light pattern is recorded by at least two cameras from different fixed positions, digitized and used to form a laser reconstruction of the patient surface. Diese digitale Oberfläche kann dann mit den räumlichen Abtastdaten abgeglichen werden, wobei ein verbessertes räumliches perspektivisches Bild der chirurgischen Eingriffsstelle gebildet wird. This digital interface can be matched to the spatial sampling data then, wherein an improved spatial perspective image of the surgical site is formed.
  • In In US 2004/0254584 A1 US 2004/0254584 A1 ist ein computergestütztes Navigationsverfahren für Hüftersatzchirurgie beschrieben, bei dem eine Beckenebene aus wenigstens drei erkennbaren anatomischen Merkmalen des Beckens bestimmt wird, mit einem Trackingsystem die Orientierung eines Hüftgelenkpfannenimplantats zur Erlangung von Implantierungsorientierungsdaten ermittelt wird und das Hüftgelenkpfannenimplantat in eine gewünschte Orientierung in Bezug auf die bestimmte Beckenebene eingestellt wird, indem die erwähnten Implantierungsorientierungsdaten zu der bestimmten Beckenebene in Bezug gesetzt werden. is described a computer-based navigation method for Hüftersatzchirurgie in which a pelvic plane is determined from at least three identifiable anatomical features of the basin, with a tracking system the orientation of an acetabular implant for obtaining Implantierungsorientierungsdaten is determined and the acetabular cup implant set in a desired orientation with respect to the specific pelvic plane is, by the above-mentioned Implantierungsorientierungsdaten be related to the specific pelvic plane. Vorzugsweise enthält das System Oberschenkelknochen-Trackingmarker, die an einem Oberschenkel des Patienten sicher befestigt sind und durch das Trackingsystem verfolgbar sind, um Änderungen in der Beinlänge und im Oberschenkelversatz festzustellen. Preferably, the system femoral tracking markers that are secured to a thigh of the patient and are traceable by the tracking system to determine changes in the leg length and the femoral offset contains.
  • Es ist festzustellen, dass bisher kein Verfahren oder System existiert, mit dem ein in einer virtuellen räumlichen Realität erfasster und dort festgelegter Punkt oder ganz allgemein eine darin bestimmte positionszugeordnete Information dann im Raum der tatsächlichen Realität einfach und flexibel angezeigt werden kann. It should be noted that so far no method or system exists, which can be displayed in the space of the actual reality of simple and flexible a detected in a virtual three-dimensional reality and there fixed point or more generally a particular therein position information associated with then. Die Verwendung von Robotern ist zwar grundsätzlich möglich für Anwendungen, in denen ohnehin Roboter zur Verfügung stehen, aber auch im Hinblick auf Geschwindigkeit, Zeigebereich, Platzbedarf, Flexibilität, Kosten und Genauigkeit sind Roboter in vielen Fällen nachteilig. Although the use of robots is possible in principle for applications in which anyway are robots available, but also in terms of speed, pointing area, footprint, flexibility, cost and accuracy are robots disadvantageous in many cases.
  • Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und System zu schaffen, womit in einer virtuellen räumlichen Realität erfasste und dort festgelegte Punkte oder ganz allgemein darin bestimmte positionszugeordnete Informationen ohne Robotereinsatz im Raum der tatsächlichen Realität einfach und flexibel angezeigt und damit mühelos wiedergefunden werden können. Object of the present invention is therefore to provide a method and system, thus recorded in a virtual spatial reality and fixed there points or, more generally, in certain position associated information can be displayed easily and flexibly without the use of robots in the area of ​​actual reality and recovered easily ,
  • Gemäß der Erfindung, die sich auf ein Verfahren der eingangs genannten Art bezieht, wird diese Aufgabe dadurch gelöst, dass die positionszugeordneten Informationen in der tatsächlichen Realität mittels einer Anzeigevorrichtung angezeigt werden, die eine einen Lichtstrahl aussendende Lichtquelle und eine Lichtstrahl-Ablenkeinrichtung enthält, dass die Position der Lichtquelle in der tatsächlichen Realität mittels des Trackingsystems ermittelt wird, dass aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der Ablenkeinrichtung berechnet und eingestellt wird, so dass nach seiner Ablenkung der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Posi According to the invention, which relates to a method of the type mentioned at the outset, this object is achieved in that the position-associated information is displayed in the actual reality by means of a display device which includes a light beam emitting light source and a light beam deflector that position of the light source in the actual reality by means of the tracking system is determined, that from the determined position of the light source and the transformed from the virtual reality in the actual reality position information associated with the establishment, position of the deflector is calculated and set so that, after its deflection of the light beam is directed exactly in the direction of the assigned position and in the case of a movement of the light source, the deflection device is automatically adjusted in such a way that the deflected light beam always to the assigned Posi tion gerichtet bleibt. tion is directed.
  • Bei einer Anwendung des Verfahrens im Bereich minimalinvasiver medizinischer Operationen besteht die virtuelle räumliche Realität in einer anhand von präoperativem Bildmaterial durchgeführten, präoperativen Planung, die als Ergebnis Einstichpunkte relativ zu demjenigen Koordinatensystem hat, in dem die präoperativen Informationen aufgenommen werden und welches das Koordinatensystem der virtuellen Realität bildet. In one application of the method in the field of minimally invasive medical operations, the virtual spatial reality consists of a reference conducted by preoperative images, preoperative planning which has as a result of insertion points relative to that coordinate system in which the pre-operative information is recorded and which is the coordinate system of the virtual reality forms. Zur Darstellung in der tatsächlichen Realität des Operationssaals wird die Registrierung vorgenommen, bei der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität der präoperativen Phase zugeteilte Koordinatensystem in das Koordinatensystem des im Operationssaal vorgesehenen Trackingsystems transformiert. For display in the actual reality of the operating room, the registration is made in the transformation matrix is ​​determined which transforms the allocated virtual reality preoperative phase coordinate system to the coordinate system of the provided in the operating room tracking system.
  • Die Einstichpunkte werden in der tatsächlichen Realität des Operationssaals mit Hilfe der die Lichtquelle und die Ablenkeinrichtung enthaltenden Anzeigevorrichtung angezeigt, wobei die Position der Lichtquelle in der tatsächlichen Realität des Operationssaals mittels des dortigen Trackingsystems ermittelt wird. The entry points are displayed in actual reality of the operating room with the aid of the light source and the deflection device containing display device, wherein the position of the light source in the actual reality of the operating room is determined by means of the local tracking system. Aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität der präoperativen Phase in die tatsächliche Realität des Operationssaals transformierten Einstichpunkten wird die vorzunehmende Stellung der Ablenkeinrichtung berechnet und gesteuert, so dass nach seiner Ablenkung der Lichtstrahl exakt auf den betreffenden Einstichpunkt gerichtet ist. From the determined position of the light source and the transformed from the virtual reality of the pre-operative phase to the actual reality of the operating room puncture points the establishment, position of the deflection means is calculated and controlled so that after its deflection, the light beam is accurately directed to the respective entry point. Im Fall einer Bewegung der Lichtquelle wird die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt, dass der abgelenkte Lichtstrahl stets auf diesen zugewiesenen Einstichpunkt gerichtet bleibt. In the case of a movement of the light source, the controllable deflecting device is automatically adjusted in such a way that the deflected light beam is always directed to this assigned entry point.
  • Bei fester Anbringung der Anzeigevorrichtung im Raum der tatsächlichen Realität ist nach einer einmaligen Registrierung im Raum der tatsächlichen Realität kein Trackingsystem mehr erforderlich. For fixed mounting the display device in the space of actual reality after a single registration in the space of the actual reality no tracking system is required.
  • Ein die gestellte Aufgabe lösendes System zur Durchführung des angegebenen Verfahrens nach der vorliegenden Erfindung ist dadurch gekennzeichnet, dass eine Vorrichtung zur Speicherung der in der virtuellen Realität aufgenommenen, positionszugeordneten Informationen relativ zu dem der virtuellen Realität zugeteilten Koordinatensystem vorgesehen ist, dass zur Darstellung in der tatsächlichen Realität eine Registrierungseinrichtung vorgesehen ist, in der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden. One, the object Solved system for carrying out the specified method according to the present invention is characterized in that a device for storing the captured in virtual reality, position information assigned is provided relative to the allocated virtual reality system of coordinates that for display in the actual reality is provided a registration device in which the transformation matrix is ​​determined which transforms the allocated virtual reality system of coordinates in a coordinate system of a tracking system, so that the displays in the actual reality information to be transmitted in this transformation to scale. Zur Anzeige der positionszugeordneten Informationen in der tatsächlichen Realität ist eine Anzeigevorrichtung vorgesehen, die eine einen Lichtstrahl aussendende Lichtquelle und eine steuerbare Licht strahl-Ablenkeinrichtung enthält, dass im Fall einer beweglichen, also nicht fest angebrachten Anzeigevorrichtung zur Ermittlung der Position der Lichtquelle in der tatsächlichen Realität ein Trackingsystem vorgesehen ist. To display the position information associated with the actual reality a display device is provided which includes a light beam emitting light source and a controllable light beam deflector that, in the case of a movable, not fixedly mounted display device for determining the position of the light source in the actual reality a tracking system is provided. Ferner ist eine Auswerteeinheit vorgesehen, die aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der steuerbaren Ablenkeinrichtung berechnet, so dass nach seiner Ablenkung der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Position gerichtet bleibt. is a further evaluation unit is provided which calculates the establishment, position of the controllable deflecting device from the determined position of the light source and the transformed from the virtual reality in the actual reality position associated information so that exactly directed by its deflection of the light beam in the direction of the assigned position and in the case of a movement of the light source, the controllable deflecting device is automatically adjusted in such a way that the deflected light beam is always directed to the assigned position.
  • Bei dem Verfahren und dem System nach der vorliegenden Erfindung wird demnach die Lage der Quelle des Lichtstrahls, der durch die steuerbare Ablenkeinrichtung, zB zwei stellbare Spiegel abgelenkt werden kann, mit Hilfe eines Trackingsystems ermittelt. In the method and system of the present invention is therefore the position of the source of the Lichtstrahls, by the controllable Ablenkeinrichtung, for example, two adjustable mirrors be distracted, can using a Trackingsystems determined. Aus dieser Lage und der Lage des gewünschten anzustrahlenden Punktes wird berechnet, wie die Ablenkeinrichtung, also im Beispiel die zwei Spiegel, einzustellen sind, so dass der Lichtstrahl genau in die richtige Richtung zeigt. From this position and the position of the desired to be irradiated point is calculated as the deflection direction, that is in the example the two mirrors, are set so that the light beam is exactly in the right direction. Wird die Lichtquelle bewegt, so wird die Ablenkeinrichtung automatisch entsprechend nachgestellt, so dass der Lichtstrahl immer auf die gleiche Stelle zeigt. If the light source moves, the deflector is adjusted automatically in accordance with, so that the light beam always points to the same location.
  • Die Verbindung der Systemteile Lichtquelle, Ablenkeinrichtung, Auswerteeinheit und eventuell Trackingsystem führt zu einem neuen und vorteilhaften System, das automatisch Punkte im Raum "markieren" kann bzw. positionszugeordnete Informationen ortsabhängig bereitstellen kann. The connection of parts of the system light source, deflecting means, evaluation and possibly tracking system leads to a new and advantageous system which can automatically "tag" points in space and position information associated can provide location-dependent.
  • Die Anzeigevorrichtung lässt sich als Handgerät oder fest montiert realisieren. The display device can be realized securely mounted as a handheld or. Bei einer Realisierung als Handgerät kann dieses kabellos oder kabelgebunden ausgeführt werden. When employed as hand-held device that can be done wired or wireless. Bei fester Montage im Raum der tatsächlichen Realität und vorheriger Registrierung der Anzeigevorrichtung wird kein Trackingsystem mehr benötigt. For fixed installation in the space of the actual reality and previous registration of the display device no longer tracking system is needed.
  • Der Lichtstrahl lässt sich in der Ablenkeinrichtung durch zwei oder mehr verstellbare Spiegel oder eine Pan-Tilt-Einheit oder magnetische Felder oder elektrische Felder ablenken. The light beam can be in the deflection direction by two or deflect more mirrors or a pan-tilt unit or magnetic fields or electric fields.
  • In der Lichtquelle kann der Lichtstrahl durch einen Laser, einen Scheinwerfer, eine Infrarotquelle oder Leuchtdioden oder aber auch parallel durch verschiedene dieser Lichtstrahl-Erzeugungssysteme erzeugt werden. In the light source of the light beam by a laser, a headlight, an infrared source or light-emitting diodes or can be also generated in parallel by different ones of these light beam generating systems.
  • Die Auswerteeinheit, die aus der Lage der Lichtquelle und der gewünschten Lichtstrahlrichtung die Stellung der steuerbaren Ablenkeinrichtung, zB zweier Spiegel, berechnet und die Ablenkeinrichtung auch steuert, kann als externes Gerät oder integriert in der als Handgerät ausgeführten Anzeigevorrichtung realisiert werden. The evaluation unit, the position of said controllable deflection means, for example, two mirrors calculated from the position of the light source and the desired beam direction and the deflecting means also controls can be realized as an external device or integrated in the executed as a handheld display device.
  • Es können auch mehrere Anzeigevorrichtungen verwendet werden, damit durch sich kreuzende Lichtstrahlen dreidimensionale Punkte markiert oder verschiedene Farben oder Muster realisiert werden können. It can also be used multiple display devices so by intersecting beams of light marked three-dimensional points, or different colors or patterns can be realized.
  • Vorteilhafte und zweckmäßige Weiterbildungen des Verfahrens und Systems nach der vorliegenden Erfindung sind in Unteransprüchen angegeben, die sich unmittelbar oder mittelbar auf den Patentanspruch 1 bzw. 5 beziehen. Advantageous and expedient further developments of the method and system of the present invention are given in dependent claims, which relate directly or indirectly to the patent claim 1 and 5 respectively.
  • Außerdem sind in Ansprüchen noch vorteilhafte und zweckmäßige Verwendungsmöglichkeiten angegeben. Additional claims have advantageous and practical uses are given.
  • Durch die Erfindung ergibt sich eine Reihe von Vorteilen. With the invention yields a number of advantages.
  • Was die Kosten angeht, so ist das Verfahren nach der Erfindung, verglichen mit anderen automatischen Verfahren, zB der Verwendung von Robotern, deutlich preisgünstiger, da die Komponenten der Anzeigevorrichtung mit Lichtquelle und Ablenkeinrichtung als Standardkomponenten erhältlich sind und ein Trackingsystem in beiden Fällen nötig ist. As to the costs, the method according to the invention, compared with other automated processes, for example the use of robots, much cheaper, because the components of the display device can be obtained with the light source and deflector as standard components and a tracking system is necessary in both cases.
  • Was die Geschwindigkeit angeht, so ist es durch ein Spiegelsystem mit entsprechender Verstellgeschwindigkeit in der Ablenkeinrichtung möglich, auch mehrere Punkte "gleichzeitig" anzuleuchten. As for the speed, it is by a system of mirrors with a corresponding adjustment possible in the deflection device to light up even more points "simultaneously". Es ist kein manueller Abgleich nötig, was das Verfahren im Vergleich zu einer Abtastung mit Zeigestab deutlich schneller macht. There is no manual adjustment necessary, making the process as compared to a scanning pointer significantly faster.
  • Was den Platzbedarf betrifft, so ist es möglich, die Anzeigevorrichtung in Form eines kompakten Handgeräts zu realisieren. As for the space, so it is possible to realize the display device in the form of a compact handset. Als weitere Möglichkeit kann die Anzeigevorrichtung außerhalb des eigentlichen Manipulationsbereichs extern fest angebracht werden, wodurch der wichtige Bereich um das Zentrum des Arbeitsgebiets herum freigehalten wird. As another possibility, the display device can be attached externally fixed outside the actual manipulation range, whereby the critical region around the center of the working area around is kept free.
  • Was die Genauigkeit betrifft, so haben gängige Spiegelsysteme zur Verwendung in der Ablenkeinrichtung eine extrem hohe Genauigkeit, so dass die Gesamtgenauigkeit des Systems in erster Linie von der Genauigkeit des Trackingsystems abhängt. As for the accuracy, so common mirror systems for use in the deflector have an extremely high accuracy, so that the overall accuracy of the system primarily depends on the accuracy of the tracking system. Da dieses frei gewählt werden kann, ist die bestmögliche Genauigkeit erreichbar. As this can be freely chosen, the best possible accuracy can be achieved.
  • Was den Zeigebereich angeht, so ergibt sich der Bereich, der mit der Anzeigevorrichtung des erfindungsgemäßen Systems abgedeckt werden kann, aus dem Tracking-Bereich des Trackingsystems und der Reichweite des Lichtstrahls. As for the pointing area, the result is the area that can be covered with the display device of the present system, from the tracking range of the tracking system and the range of the light beam. Er ist damit größer als der eines normalen Roboters und auch größer als der eines getrackten Zeigestabes. He is bigger than that of a normal robot and also larger than that of a tracked indicator rod.
  • Allgemein eignen sich das Verfahren und das System nach der vorliegenden Erfindung für eine Vielzahl von Anwendungen, bei denen die "virtuelle Welt" mit der "tatsächlichen Welt" abgeglichen werden soll. In general, the method and system are suitable according to the present invention for a variety of applications where the "virtual world" is intended to be aligned with the "real world". Dies bedeutet, dass ein Modell der tatsächlichen Welt vorhanden ist, in dem Positionsdaten oder andere positionszugeordnete Informationen vorhanden sind, die in die tatsächliche Welt übertragen werden sollen. This means that a model of the real world exists in the position data or other position related information are available to be transferred in the actual world.
  • Eine weitere interessante Anwendung neben derjenigen für minimalinvasive chirurgische Operationen mit präoperativer Planung ergibt sich, wenn schnell verstellbare Spiegel als steuerbare Ablenkeinrichtung verwendet werden, mit welchen nicht nur Punkte, sondern auch Linien, Buchstaben oder Symbole auf eine Oberfläche projiziert werden können. Another interesting application in addition to those surgical minimally invasive surgery with preoperative planning results when fast mirrors are used as controllable deflector can be with which not only points, but also lines, letters or symbols projected onto a surface. In diesem Fall wäre es möglich, ein ebenfalls getracktes Objekt lageabhängig zu beschriften. In this case, it would be possible to label an also getracktes object depending on position. Konkrete Anwendungen fänden sich zB in der Montageassistenz. Concrete applications were to be found for example in the installation assistant. Nummerierungen könnten direkt auf die entsprechenden Bauteile projiziert werden. Numbering could be projected directly onto the corresponding components. Soll beispielsweise ein Monteur eine Lichtmaschine in ein Kraftfahrzeug einbauen und dabei fünf Schrauben 1 bis 5 nacheinander festschrauben, so projiziert die Anzeigevorrichtung nun auf die Positionen, an denen die jeweiligen Schrauben eingedreht werden sollen, die entsprechenden Nummern 1 bis 5. For example, to install an alternator in a motor vehicle, while five screws 1 to 5 tighten consecutively a fitter, the display device projects now to the positions where the respective screw to be screwed in the corresponding points 1 to fifth
  • Neben der Verwendung bei minimalinvasiven chirurgischen Operationen mit präoperativer Planung und bei Montagevorgängen zum gezielten und geplanten Anzeigen von Montagestellen be steht eine Verwendungsmöglichkeit für die Führung in Museen oder Ausstellungen, so dass synchron zur Beschreibung eines Objekts die Anzeigevorrichtung einen gerade besprochenen Teil dieses ausgestellten Objekts gezielt anleuchtet. Besides the use in minimally invasive surgical operations with preoperative planning and assembly processes for the targeted and planned Viewing mounting locations be there is a use for the lead in museums or exhibitions, so that synchronization with the description of an object, the display device one just discussed part of this exhibited object specifically illuminates ,
  • Eine weitere Verwendungsmöglichkeit besteht bei Lehre und Ausbildung mit der Anzeigevorrichtung als zitterfreier Laserpointer oder gekoppelt mit einem Computer-Präsentationsprogramm. Another use consists in teaching and training with the display device as Jitterless laser pointer or coupled to a computer presentation program.
  • Auch für Bühnen- und Showeffekte zur Realisierung einer interaktiven Lasershow, die auf die Position von Personen, zB des Showmasters, reagiert, lässt sich das System nach der Erfindung vorteilhaft verwenden, genauso wie bei einer logistischen Verwaltung. For stage and show effects for realizing an interactive laser show, which reacts to the position of persons, such as the show host, the system can be used advantageously according to the invention, as well as with a logistic management. Eine solche logistische Verwaltung kann zB diejenige einer Bibliothek, eines Archivs oder dergleichen sein, wobei mittels der Anzeigevorrichtung die logistisch zu verwaltenden Objekte, zB Bücher in einer Bibliothek, aufgefunden werden sollen. Such logistic management can for example be that of a library, a file cabinet or the like, wherein, for example, books are to be found in a library by means of the display device, the logistic objects to be managed. Dazu sind die Positionen der Objekte in der Speichervorrichtung der virtuellen Realität abgespeichert. For this, the positions of the objects are stored in the storage device of virtual reality. Die Anzeigevorrichtung mit ihrem passend abgelenkten Lichtstrahl zeigt auf das gesuchte Objekt, sobald dessen Position dem System mitgeteilt worden ist. The display device with their matching deflected light beam points to the object sought once its position has been communicated to the system.
  • Auch im Bereich der Werbung, der Spieleindustrie und des Event-Managements kann das System nach der vorliegenden Erfindung vorteilhaft eingesetzt werden. Also in the field of advertising, games industry and the event management system may be advantageously employed according to the present invention.
  • Die vorliegende Erfindung und zwei Ausführungsbeispiele für eine Anzeigevorrichtung des für minimalinvasive Operationen eingesetzten Systems werden nachfolgend anhand von Zeichnungen erläutert. The present invention and two exemplary embodiments of a display device of the system used for minimally invasive surgery are described below with reference to drawings. Es zeigen: Show it:
  • 1 1 in schematischer Ansicht ein Ausführungsbeispiel einer als Handgerät ausgeführten Anzeigevorrichtung des Systems nach der Erfindung, und a schematic view of an embodiment of a display device designed as a handset of the system of the invention, and
  • 2 2 ebenfalls in schematischer Ansicht ein Ausführungsbeispiel einer als fest montiertes Gerät ausgeführten Anzeigevorrichtung des Systems nach der Erfindung. likewise in a schematic view of an embodiment of a display device of the system embodied as a permanently mounted device according to the invention.
  • Bei der präoperativen Planung minimalinvasiver Operationen wird mit langen, stabförmigen Instrumenten durch künstliche Körperöffnungen operiert. In the preoperative planning of minimally invasive surgery is surgery with long, rod-like instruments by artificial body orifices. Der Ort auf der Körperoberfläche, an welchem der Chirurg den Einstichpunkt in den Patienten setzt, hat großen Einfluss auf die Zugänglichkeit der Stelle, an der im Inneren des Körpers operiert werden soll. The place on the body surface, sets on which the surgeon the puncture in the patient, has great influence on the accessibility of the site to be operated inside the body at the. Daher ist es von großer Bedeutung, vor der Operation anhand von präoperativem Bildmaterial zu untersuchen, an welcher Stelle ein Einstichpunkt am Besten zu setzen ist. Therefore, it is important to investigate before surgery based on preoperative images, at which point a drop point is to put the best.
  • Das Ergebnis der präoperativen Planung sind die Koordinaten der Einstichpunkte relativ zum Koordinatensystem, in dem die präoperativen Informationen aufgenommen wurde. The result of the pre-operative planning are the coordinates of the puncture points in the preoperative information was recorded relative to the coordinate system. Um dann bei der tatsächlichen Operation im Operationssaal die Koordinaten der Punkte auf der Körperoberfläche wiederzufinden und einzuzeichnen, wird ein Trackingsystem verwendet, das zB von optischer oder magnetischer Natur sein kann. Then recover in the actual operation in the operating room, the coordinates of the points on the body surface and draw in, a tracking system is used, which may be, for example, by optical or magnetic nature.
  • Das Trackingsystem ermöglicht das Messen der Lage von Gegenständen im Raum relativ zum Koordinatensystem des Trackingsystems. The tracking system enables the measurement of the position of objects in space relative to the coordinate system of the tracking system. Um die präoperativen Planungsergebnisse (= virtuelle Realität) in den Operationssaal (= tatsächliche Realität) zu übertragen, wird zunächst eine Registrierung durchgeführt, bei der die Transformationsmatrix ermittelt wird, die das Koordinatensystem, in dem das präoperative Bildmaterial vor liegt, in das Koordinatensystem des Trackingsystems transformiert. To transfer the pre-operative planning results (= virtual reality) into the operating room (= actual reality), is first carried out a registration, in which the transformation matrix is ​​determined that the coordinate system in which the preoperative visual material is present in the coordinate system of the tracking system transformed.
  • Durch den in By in 1 1 schematisch dargestellten Aufbau einer für das erfindungsgemäße System vorgesehenen Anzeigevorrichtung ist man nun in der Lage, die Positionen von präoperativ geplanten Einstichpunkten, zB des Einstichpunktes Building a provided for the inventive system display device schematically illustrated one is now able, the positions of the preoperative planned injection points, for example the injection point 1 1 , auf der Körperoberfläche , On the body surface 2 2 eines Patienten wiederzufinden. a patient recover. Bei dieser, als mobiles Handgerät ausgeführten Anzeigevorrichtung sind eine Laserstrahlquelle In this, embodied as a mobile handset display device are a laser beam source 3 3 und eine zwei stellbare Spiegel enthaltende, steuerbare Ablenkeinrichtung and two adjustable mirrors containing controllable deflector 4 4 vorgesehen. intended. Die Lage der Quelle The location of the source 3 3 des Laserstrahls of the laser beam 5 5 , der durch die beiden steilbaren Spiegel der Ablenkeinrichtung Formed by the two steilbaren mirror of the deflector 4 4 abgelenkt werden kann, wird mit Hilfe eines im Operationssaal angebrachten Trackingsystems may be deflected, with the aid of an attached in the operating room Tracking Systems 6 6 ermittelt. determined.
  • Aus der Lage der Quelle From the position of the source 3 3 und der auf Grund der Koordinatentransformation bei der Registrierung bekannten Lage des Einstichpunktes and the well-known due to the coordinate transformation during the registration location of the puncture point 1 1 wird in einer Auswerteeinheit is in an evaluation unit 7 7 berechnet, wie die beiden Spiegel der Ablenkeinrichtung calculated as the two mirrors of the deflecting means 4 4 gestellt werden müssen, damit der Laserstrahl must be provided so that the laser beam 5 5 genau auf den Einstichpunkt close attention to the puncture site 1 1 zeigt. shows. Wird die Laserstrahlquelle If the laser beam source 3 3 bewegt, so werden die beiden Spiegel in der steuerbaren Ablenkeinrichtung moved, the two mirrors in the controllable deflection means are 4 4 auf Grund der Lagemessung mittels des Trackingsystems because of the location measurement by means of the tracking system 6 6 und der Berechnung der Spiegelstellungen in der Auswerteeinheit and calculating the mirror positions in the evaluation unit 7 7 automatisch entsprechend nachgestellt, so dass der Laserstrahl adjusted automatically in accordance with, so that the laser beam 5 5 immer auf die gleiche Stelle, nämlich den geplanten Einstichpunkt always in the same location, namely the planned entry point 1 1 zeigt. shows.
  • Die Ablenkwinkel des Laserstrahls The deflection angle of the laser beam 5 5 nach Durchlaufen der Ablenkeinrichtung after passing through the deflector 4 4 sind α in der Azimutebene und β in der Elevationsebene. are α in the azimuth plane and β in the elevation plane. Die Auswerteeinheit the evaluation unit 7 7 steuert also die beiden Spiegel der steuerbaren Ablenkeinrichtung entsprechend ihrem Berechnungsergebnis. therefore controls the two mirrors of the controllable deflecting device according to its computation result. Auf diese Weise können die präoperativ geplanten Einstichpunkte, im Beispiel der geplante Einstichpunkt In this way the preoperatively planned insertion points can, in the example of the planned entry point 1 1 , äußerst komfortabel und exakt auf die Körperoberfläche , Extremely comfortable and exactly to the body surface 2 2 des Patienten übertragen werden. the patient is transferred. Die Auswerteeinheit the evaluation unit 7 7 kann als externes Gerät ausgeführt oder in der als Handgerät ausgebildeten Anzeigevorrichtung integriert werden. can be carried out as an external device or integrated in the formed as a handheld display device.
  • Auch durch den in Even by the in 2 2 schematisch dargestellten Aufbau einer für das erfindungsgemäße System vorgesehenen Anzeigevorrichtung können die Positionen von präoperativ geplanten Einstichpunkten, zB des Einstichpunktes Building a provided for the inventive system display device schematically shown the positions of preoperatively planned injection points, for example the injection point 1 1 , auf der Körperoberfläche , On the body surface 2 2 eines Patienten wiedergefunden werden. a patient is recovered. Bei dieser im Gegensatz zum vorher beschriebenen Ausführungsbeispiel nicht beweglichen, sondern fest im Operationssaal montierten Anzeigevorrichtung sind ebenfalls eine Laserstrahlquelle With this in contrast to the previously described embodiment is not movable, but fixedly mounted in the operating room display device is also a laser beam source 3 3 und eine zwei steilbare Spiegel aufweisende, steuerbare Ablenkeinrichtung and a two steilbare mirror having controllable deflector 4 4 vorgesehen. intended.
  • Die Lage der Quelle The location of the source 3 3 des Laserstrahls of the laser beam 5 5 , der durch die beiden stellbaren Spiegel der Ablenkeinrichtung Formed by the two adjustable mirrors of the deflecting means 4 4 abgelenkt werden kann, muss in diesem Fall nicht laufend mit Hilfe eines im Operationssaal angebrachten Trackingsystems ermittelt werden, so dass dieses in diesem Fall eingespart werden kann. can be deflected, must be determined in this case is not continuously using a mounted in the operating room tracking system so that it can be saved in this case. Es ist lediglich für eine vorherige Registrierung der Lage der Laserstrahlquelle It is only for a previous registration of the position of the laser beam source 3 3 in der Räumlichkeit des Operationssaals zu sorgen. to ensure, in the premises of the operating room.
  • Aus der bekannten Lage der Quelle From the known position of the source 3 3 und der auf Grund der Koordinatentransformation bei der Registrierung bekannten Lage des Einstichpunktes and the well-known due to the coordinate transformation during the registration location of the puncture point 1 1 wird auch hier in einer Auswerteeinheit is also in an evaluation unit 7 7 berechnet, wie die beiden Spiegel der Ablenkeinrichtung calculated as the two mirrors of the deflecting means 4 4 gestellt werden müssen, damit der Laserstrahl must be provided so that the laser beam 5 5 genau auf den Einstichpunkt close attention to the puncture site 1 1 zeigt. shows.
  • Die beiden Spiegel in der steuerbaren Ablenkeinrichtung The two mirrors in the controllable deflector 4 4 werden auf Grund der Berechnung der Spiegelstellungen in der Auswerteeinheit be due to the calculation of the mirror positions in the evaluation unit 7 7 automatisch entsprechend nachgestellt, so dass der Laserstrahl adjusted automatically in accordance with, so that the laser beam 5 5 immer auf die gleiche Stelle, nämlich den geplanten Einstichpunkt always in the same location, namely the planned entry point 1 1 zeigt. shows. Die Ablenkwinkel des Laserstrahls The deflection angle of the laser beam 5 5 nach Durchlaufen der Ablenkeinrichtung after passing through the deflector 4 4 sind α in der Azimutebene und β in der Elevationsebene. are α in the azimuth plane and β in the elevation plane. Die Auswerteeinheit the evaluation unit 7 7 steuert also die beiden Spiegel der steuerbaren Ablenkeinrichtung entsprechend ihrem Berechnungsergebnis. therefore controls the two mirrors of the controllable deflecting device according to its computation result. Auch bei diesem Ausführungsbeispiel werden also die präoperativ geplanten Einstichpunkte, im Beispiel der geplante Einstichpunkt Also in this embodiment, therefore, the preoperatively planned insertion points, in the example of the planned entry point 1 1 , genau und ganz bequem auf die Körperoberfläche Accurately and conveniently onto the body surface 2 2 des Patienten übertragen. the patient transfer.
  • 1 1
    Einstichpunkt entry point
    2 2
    Körperoberfläche body surface
    3 3
    Laserstrahlquelle, Lichtstrahlquelle Laser beam source light beam source
    4 4
    Ablenkeinrichtung Deflector
    5 5
    Laserstrahl, Lichtstrahl , Beam laser beam
    6
    Trackingsystem tracking system
    7
    Auswerteeinheit evaluation
    α α
    Ablenkwinkel in der Azimutebene Deflection angle in the azimuth plane
    β β
    Ablenkwinkel in der Elevationsebene Deflection angle in the elevation plane

Claims (31)

  1. Verfahren zum Übertragen von positionszugeordneten Informationen aus einer virtuellen räumlichen Realität in eine tatsächliche räumliche Realität und zum Anzeigen dieser Informationen in der tatsächlichen räumlichen Realität, wobei die in der virtuellen Realität aufgenommenen Informationen in Bezug auf ein der virtuellen Realität zugeteiltes Koordinatensystem bestimmt werden und zur Darstellung in der tatsächlichen Realität eine Registrierung vorgenommen wird, bei der eine Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden, dadurch gekennzeichnet , dass die positionszugeordneten Informationen in der tatsächlichen Realität mittels einer Anzeigevorrichtung angezeigt werden, die eine einen Lichtstrahl ( A method of transmitting position information assigned from a virtual spatial reality in an actual spatial reality and for displaying this information in the actual spatial reality, the information recorded in virtual reality be determined with respect allotted to a virtual reality system of coordinates, and to show in the actual reality registration is carried out, in which a transformation matrix is determined which transforms the allocated virtual reality system of coordinates in a coordinate system of a tracking system, so that the displays in the actual reality information to be transmitted in this transformation to scale, characterized in that the position associated information is displayed in the actual reality by means of a display device (a light beam 5 5 ) aussendende Lichtquelle ( ) Emitting light source ( 3 3 ) und eine steuerbare Lichtstrahl-Ablenkeinrichtung ( ) And a controllable beam deflector ( 4 4 ) enthält, dass die Position der Lichtquelle in der tatsächlichen Realität mittels des Trackingsystems ( ), In that the position of the light source in the actual reality by means of the tracking system ( 6 6 ) ermittelt wird, dass aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der steuerbaren Ablenkeinrichtung berechnet und eingestellt wird, so dass nach seiner Ablenkung (α, β) der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Position gerichtet bleibt. ) Is determined, that from the determined position of the light source and the transformed from the virtual reality in the actual reality position information associated with the establishment, position of the controllable deflecting device is calculated and set so that (after its deflection α,) β of the light beam exactly in the direction is directed to the assigned position and in the case of a movement of the light source, the controllable deflecting device is automatically adjusted in such a way that the deflected light beam is always directed to the assigned position.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Anwendung des Verfahrens im Bereich minimalinvasiver medizinischer Operationen die virtuelle räumliche Realität in einer anhand von präoperativem Bildmaterial durchgeführten, präoperativen Planung besteht, die als Ergebnis Einstichpunkte relativ zu demjenigen Koordinatensystem hat, in dem die präoperativen Informationen aufgenommen werden und welches das Koordinatensystem der virtuellen Realität bildet, dass zur Darstellung in der tatsächlichen Realität des Operationssaals die Registrierung vorgenommen wird, bei der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität der präoperativen Phase zugeteilte Koordinatensystem in das Koordinatensystem des im Operationssaal vorgesehenen Trackingsystems ( The method of claim 1, characterized in that an application of the method in the field of minimally invasive medical operations, the virtual spatial reality in a reference conducted by preoperative images, preoperative planning is, which has as a result of insertion points relative to that coordinate system in which the pre-operative information be recorded and forming the coordinate system of the virtual reality that the registration is made for display in the actual reality of the operating room, in which the transformation matrix is ​​determined which the allocated virtual reality the preoperative stage coordinate system to the coordinate system of the provided in the operating room tracking Systems ( 6 6 ) transformiert, dass die Einstichpunkte ( ) Transformed that the needle points ( 1 1 ) in der tatsächlichen Realität des Operationssaals mit Hilfe der die Lichtquelle ( ) In the actual reality of the operating room (with the aid of the light source 3 3 ) und die Ablenkeinrichtung ( ) And the deflector ( 4 4 ) enthaltenden Anzeigevorrichtung angezeigt werden, wobei die Position der Lichtquelle in der tatsächlichen Realität des Operationssaals mittels des dortigen Trackingsystems ermittelt wird, dass aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität der präoperativen Phase in die tatsächliche Realität des Operationssaals transformierten Einstichpunkten die vorzunehmende Stellung der Ablenkeinrichtung berechnet wird, so dass nach seiner Ablenkung der Lichtstrahl ( ) Containing display device wherein the position of the light source in the actual reality of the operating room is determined by means of the local tracking system is that from the determined position of the light source and the transformed from the virtual reality of the pre-operative phase to the actual reality of the operating room puncture points the establishment, are displayed, position of the deflector is calculated so that (after its deflection of the light beam 5 5 ) exakt auf den betreffenden Einstichpunkt gerichtet ist und im Fall einer Bewegung der Lichtquelle die Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf diesen zugewiesenen Einstichpunkt gerichtet bleibt. ) Is exactly directed to the respective entry point and in case of movement of the light source, the deflector means is automatically adjusted in such a way that the deflected light beam is always directed to this assigned entry point.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei fester Anbringung der Anzeigevorrichtung im Raum der tatsächlichen Realität nach einer einmaligen Registrierung im Raum der tatsächlichen Realität kein Trackingsystem mehr erforderlich ist. The method of claim 1 or 2, characterized in that for fixed mounting of the display device in the area of ​​actual reality no tracking system is required for a one-time registration in the area of ​​actual reality.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mit dem Lichtstrahl ( Method according to one of the preceding claims, characterized in that the (with the light beam 5 5 ) ausgestrahlten Informationen diejenigen eines oder mehrerer Punkte und/oder von Linien und/oder von Buchstaben und/oder von Symbolen sind, die über die Ablenkeinrichtung auf eine Oberfläche in der tatsächlichen räumlichen Realität projiziert werden. ) Broadcast information are those of one or more points and / or lines and / or letters and / or symbols which are projected on said deflecting means onto a surface in the actual spatial reality.
  5. System zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vorrichtung zur Speicherung der in der virtuellen Realität aufgenommenen, positionszugeordneten Informationen relativ zu dem der virtuellen Realität zugeteilten Koordinatensystem vorgesehen ist, dass zur Darstellung in der tatsächlichen Realität eine Registrierungseinrichtung vorgesehen ist, in der die Transformationsmatrix ermittelt wird, welche das der virtuellen Realität zugeteilte Koordinatensystem in ein Koordinatensystem eines Trackingsystems ( System for implementing the method according to any one of the preceding claims, characterized in that a device for storing the captured in virtual reality, position information assigned is provided relative to the allocated virtual reality system of coordinates that for display in the actual reality a registration device is provided in which the transformation matrix is ​​determined which (the allocated virtual reality system of coordinates in a coordinate system of a tracking system 6 6 ) transformiert, so dass die in die tatsächliche Realität zu übertragenden Informationen in dieser transformationsgetreu angezeigt werden, dass zur Anzeige der positionszugeordneten Informationen in der tatsächlichen Realität eine Anzeigevorrichtung vorgesehen ist, die eine einen Lichtstrahl ( ) Is transformed so that the transmitted into the actual reality information are displayed in this transformation true that a display device is provided for displaying the position information associated with the actual reality (a a light beam 5 5 ) aussendende Lichtquelle ( ) Emitting light source ( 3 3 ) und eine steuerbare Lichtstrahl-Ablenkeinrichtung ( ) And a controllable beam deflector ( 4 4 ) enthält, dass im Fall einer beweglichen, also nicht fest angebrachten Anzeigevorrichtung zur Ermittlung der Position der Lichtquelle ( ) Containing, that in the case of a movable, not fixedly mounted display device for determining the position of the light source ( 3 3 ) in der tatsächlichen Realität ein Trackingsystem vorgesehen ist, und dass eine Auswerteeinheit ( ) Is provided in the actual reality a tracking system, and that an evaluation unit ( 7 7 ) vorgesehen ist, die aus der ermittelten Position der Lichtquelle und den aus der virtuellen Realität in die tatsächliche Realität transformierten positionszugeordneten Informationen die vorzunehmende Stellung der steuerbaren Ablenkeinrichtung berechnet, so dass nach seiner Ablenkung (α, β) der Lichtstrahl exakt in die Richtung zur zugewiesenen Position gerichtet ist und im Fall einer Bewegung der Lichtquelle die steuerbare Ablenkeinrichtung automatisch in einer solchen Weise nachgestellt wird, dass der abgelenkte Lichtstrahl stets auf die zugewiesene Position gerichtet bleibt. ) Is provided, which calculates the establishment, position of the controllable deflecting device from the determined position of the light source and the transformed from the virtual reality in the actual reality position associated information, so that (after its deflection α,) β of the light beam exactly in the direction of the assigned position is addressed and in the case of a movement of the light source, the controllable deflecting device is automatically adjusted in such a way that the deflected light beam is always directed to the assigned position.
  6. System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle ( System according to claim 5, characterized in that the light source ( 3 3 ) in der Anzeigevorrichtung eine Laserstrahlquelle ist. ) Is a laser beam source in the display device.
  7. System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle in der Anzeigevorrichtung ein Scheinwerfer ist. System according to claim 5, characterized in that the light source in the display device is a headlight.
  8. System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle in der Anzeigevorrichtung durch Leuchtdioden gebildet ist. System according to claim 5, characterized in that the light source in the display device is formed by light emitting diodes.
  9. System nach Anspruch 5, dadurch gekennzeichnet, dass die Lichtquelle in der Anzeigevorrichtung eine Infrarot-Strahlungsquelle ist. System according to claim 5, characterized in that the light source in the display device is an infrared radiation source.
  10. System nach den Ansprüchen 6 bis 9, dadurch gekennzeichnet, dass die Lichtquelle in der Anzeigevorrichtung parallel durch zwei oder mehr verschiedenartige Strahlungsquellen gebildet ist. System according to claims 6 to 9, characterized in that the light source in the display device is formed in parallel by two or more different types of radiation sources.
  11. System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung ( System according to claim 5, characterized in that the controllable deflector ( 4 4 ) des Lichtstrahls ( () Of the light beam 5 5 ) in der Anzeigevorrichtung durch zwei oder mehr verstellbare Spiegel gebildet ist. ) Is formed in the display device by two or more mirrors.
  12. System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung ( System according to claim 5, characterized in that the controllable deflector ( 4 4 ) des Lichtstrahls ( () Of the light beam 5 5 ) in der Anzeigevorrichtung durch eine Pan-Tilt-Einheit gebildet ist. ) Is formed in the display device by a pan-tilt unit.
  13. System nach Anspruch 5, dadurch gekennzeichnet, dass die steuerbare Ablenkeinrichtung ( System according to claim 5, characterized in that the controllable deflector ( 4 4 ) des Lichtstrahls ( () Of the light beam 5 5 ) in der Anzeigevorrichtung durch eine steuerbare Vorrichtung zur Erzeugung von den Lichtstrahl in seiner Auslenkung beeinflussenden magnetischen oder elektrischen Feldern gebildet ist. ) Is formed in the display device by a controllable device for generating the light beam in its deflection influencing the magnetic or electric fields.
  14. System nach Anspruch 6, dadurch gekennzeichnet, dass die Anzeigevorrichtung als Handgerät ausgebildet ist. System according to claim 6, characterized in that the display device is designed as a hand-held device.
  15. System nach Anspruch 6, dadurch gekennzeichnet, dass die Anzeigevorrichtung als im Raum der tatsächlichen Realität fest montierte Vorrichtung ausgebildet ist, wobei bei vorheriger Registrierung mittels der Registrierungseinrichtung kein Trackingsystem im Raum der tatsächlichen Realität erforderlich ist. System according to claim 6, characterized in that the display device is designed as a permanently mounted in the area of ​​actual reality device, with prior registration no tracking system in the area of ​​actual reality is required by the registration means.
  16. System nach Anspruch 6, dadurch gekennzeichnet, dass die Auswerteeinheit ( System according to claim 6, characterized in that the evaluation unit ( 7 7 ) ein externes Gerät ist. ) Is an external device.
  17. System nach den Ansprüchen 6 und 14, dadurch gekennzeichnet, dass die Auswerteeinheit ( System according to claims 6 and 14, characterized in that the evaluation unit ( 7 7 ) in der als Handgerät ausgebildeten Anzeigevorrichtung integriert ist. ) Is integrated in the formed as a handheld display device.
  18. System nach Anspruch 14, dadurch gekennzeichnet, dass die Anzeigevorrichtung als kabelloses Handgerät ausgebildet ist. System according to claim 14, characterized in that the display device is designed as a wireless handset.
  19. System nach Anspruch 14, dadurch gekennzeichnet, dass die Anzeigevorrichtung als kabelgebundenes Handgerät ausgebildet ist. System according to claim 14, characterized in that the display device is formed as a wired handset.
  20. System nach einem der Ansprüche 6 bis 19, dadurch gekennzeichnet, dass mehrere Anzeigevorrichtungen in der tatsächlichen räumlichen Realität vorgesehen sind, durch deren sich kreuzende Lichtstrahlen dreidimensionale Punkte markierbar sind oder verschiedene Farben oder Muster realisierbar sind. System according to one of claims 6 to 19, characterized in that a plurality of display devices are provided in the actual spatial reality, three-dimensional points can be marked by the intersecting beams of light or different colors or patterns are possible.
  21. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems bei minimalinvasiven chirurgischen Operationen mit präoperativer Planung. Use of appropriately designed any one of claims 6 to 20 the system for minimally invasive surgical operations with preoperative planning.
  22. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems zur Führung in Museen oder Ausstellungen, so dass synchron zur Beschreibung eines Objekts die Anzeigevorrichtung einen gerade besprochenen Teil dieses ausgestellten Objekts gezielt anleuchtet. Use of appropriately designed any one of claims 6 to 20 the system for guiding in museums or exhibitions, so that in synchronism with the description of an object, the display device a just discussed part of this exhibited object selectively illuminates.
  23. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems bei Lehre und Ausbildung mit der Anzeigevorrichtung als zitterfreier Laserpointer oder gekoppelt mit einem Computer-Präsentationsprogramm. Use of appropriately designed any one of claims 6 to 20 the system for teaching and training with the display device as Jitterless laser pointer or coupled to a computer presentation program.
  24. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems für Bühnen- und Showeffekte zur Realisierung einer interaktiven Lasershow, die auf die Position von Personen, zB des Showmasters, reagiert. Use of according to any one of claims 6 to 20 embodied system for stage and show effects for realizing an interactive laser show, which, responsive to the position of people, for example, the game show host.
  25. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems mit Anzeigevorrichtung bei Montagevorgängen zum gezielten und geplanten Anzeigen von Montagestellen. Use of according to any one of claims 6 to 20 embodied system with display device in assembly operations for the specific and planned displaying mounting locations.
  26. Verwendung nach Anspruch 25, dadurch gekennzeichnet, dass mit der Anzeigevorrichtung nicht nur Punkte, sondern auch Li nien, Buchstaben oder Symbole auf eine Montage-Arbeitsoberfläche in der tatsächlichen Realität projiziert werden. Use according to claim 25, characterized in that the display device not only points, but also letters or symbols are projected onto a mounting work surface in the actual reality Li nien.
  27. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems bei einer logistischen Verwaltung. Use of appropriately designed any one of claims 6 to 20 the system at a logistics management.
  28. Verwendung nach Anspruch 27, dadurch gekennzeichnet, dass die logistische Verwaltung diejenige einer Bibliothek, eines Archivs oder dergleichen ist, wobei mittels der Anzeigevorrichtung die logistisch zu verwaltenden Objekte, zB Bücher in einer Bibliothek, aufgefunden werden sollen, dass dazu die Positionen der Objekte in der Speichervorrichtung der virtuellen Realität abgespeichert sind und dass die Anzeigevorrichtung mit ihrem passend abgelenkten Lichtstrahl auf das gesuchte Objekt zeigt, sobald dessen Position dem System mitgeteilt worden ist. Use according to claim 27, characterized in that the logistic management is that of a library, a file cabinet or the like, wherein, for example, books are to be found in a library by means of the display device, the logistic objects to be managed that, the positions of the objects in the storage device of virtual reality are stored and that the display device displays with their matching deflected light beam to the desired object once its position has been communicated to the system.
  29. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems im Bereich der Werbung. Use of appropriately designed any one of claims 6 to 20 the system in the field of advertising.
  30. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems im Bereich der Spieleindustrie. Use of appropriately designed any one of claims 6 to 20 the system in the game industry.
  31. Verwendung des entsprechend einem der Ansprüche 6 bis 20 ausgebildeten Systems im Bereich des Event-Managements. Use of appropriately designed any one of claims 6 to 20 system in the field of event management.
DE200610035292 2006-07-26 2006-07-26 A method and system for transmitting position information assigned from a virtual in an actual reality and to display this information in the actual reality and the use of such a system Active DE102006035292B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200610035292 DE102006035292B4 (en) 2006-07-26 2006-07-26 A method and system for transmitting position information assigned from a virtual in an actual reality and to display this information in the actual reality and the use of such a system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200610035292 DE102006035292B4 (en) 2006-07-26 2006-07-26 A method and system for transmitting position information assigned from a virtual in an actual reality and to display this information in the actual reality and the use of such a system

Publications (2)

Publication Number Publication Date
DE102006035292A1 true true DE102006035292A1 (en) 2008-01-31
DE102006035292B4 DE102006035292B4 (en) 2010-08-19

Family

ID=38859468

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200610035292 Active DE102006035292B4 (en) 2006-07-26 2006-07-26 A method and system for transmitting position information assigned from a virtual in an actual reality and to display this information in the actual reality and the use of such a system

Country Status (1)

Country Link
DE (1) DE102006035292B4 (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008039838A1 (en) 2008-08-27 2010-03-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Measuring object's three dimensional surface scanning method, involves executing scanning movement of laser light beam by beam deflecting unit, and utilizing laser light beam for measuring and displaying data of scanning points
WO2012033892A1 (en) * 2010-09-08 2012-03-15 Faro Technologies, Inc. A laser scanner or laser tracker having a projector
US8533967B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
WO2013156468A1 (en) * 2012-04-18 2013-10-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for operating a robot
US8942940B2 (en) 2010-01-20 2015-01-27 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine and integrated electronic data processing system
US9074883B2 (en) 2009-03-25 2015-07-07 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
USRE45854E1 (en) 2006-07-03 2016-01-19 Faro Technologies, Inc. Method and an apparatus for capturing three-dimensional data of an area of space
US9329271B2 (en) 2010-05-10 2016-05-03 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US9372265B2 (en) 2012-10-05 2016-06-21 Faro Technologies, Inc. Intermediate two-dimensional scanning with a three-dimensional scanner to speed registration
US9417056B2 (en) 2012-01-25 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9417316B2 (en) 2009-11-20 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630314B2 (en) 2010-01-11 2014-01-14 Faro Technologies, Inc. Method and apparatus for synchronizing measurements taken by multiple metrology devices
US8677643B2 (en) 2010-01-20 2014-03-25 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8615893B2 (en) 2010-01-20 2013-12-31 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine having integrated software controls
GB2489370B (en) 2010-01-20 2014-05-14 Faro Tech Inc Coordinate measuring machine having an illuminated probe end and method of operation
US8875409B2 (en) 2010-01-20 2014-11-04 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8898919B2 (en) 2010-01-20 2014-12-02 Faro Technologies, Inc. Coordinate measurement machine with distance meter used to establish frame of reference
US8832954B2 (en) 2010-01-20 2014-09-16 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016541A1 (en) * 1999-09-15 2002-02-07 Glossop Neil David Method and system to facilitate image guided surgery
US20020176603A1 (en) * 2001-05-24 2002-11-28 Acoustic Positioning Research Inc. Automatic pan/tilt pointing device, luminaire follow-spot, and 6DOF 3D position/orientation calculation information
US20030120154A1 (en) * 2001-11-28 2003-06-26 Frank Sauer Method and apparatus for ultrasound guidance of needle biopsies
US20050093889A1 (en) * 2001-03-27 2005-05-05 Frank Sauer Augmented reality guided instrument positioning with guiding graphics
US20050256391A1 (en) * 2004-05-14 2005-11-17 Canon Kabushiki Kaisha Information processing method and apparatus for finding position and orientation of targeted object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016541A1 (en) * 1999-09-15 2002-02-07 Glossop Neil David Method and system to facilitate image guided surgery
US20050093889A1 (en) * 2001-03-27 2005-05-05 Frank Sauer Augmented reality guided instrument positioning with guiding graphics
US20020176603A1 (en) * 2001-05-24 2002-11-28 Acoustic Positioning Research Inc. Automatic pan/tilt pointing device, luminaire follow-spot, and 6DOF 3D position/orientation calculation information
US20030120154A1 (en) * 2001-11-28 2003-06-26 Frank Sauer Method and apparatus for ultrasound guidance of needle biopsies
US20050256391A1 (en) * 2004-05-14 2005-11-17 Canon Kabushiki Kaisha Information processing method and apparatus for finding position and orientation of targeted object

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE45854E1 (en) 2006-07-03 2016-01-19 Faro Technologies, Inc. Method and an apparatus for capturing three-dimensional data of an area of space
DE102008039838A1 (en) 2008-08-27 2010-03-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Measuring object's three dimensional surface scanning method, involves executing scanning movement of laser light beam by beam deflecting unit, and utilizing laser light beam for measuring and displaying data of scanning points
US9074883B2 (en) 2009-03-25 2015-07-07 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
US9417316B2 (en) 2009-11-20 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8942940B2 (en) 2010-01-20 2015-01-27 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine and integrated electronic data processing system
US8533967B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8638446B2 (en) 2010-01-20 2014-01-28 Faro Technologies, Inc. Laser scanner or laser tracker having a projector
US10060722B2 (en) 2010-01-20 2018-08-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8683709B2 (en) 2010-01-20 2014-04-01 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with multi-bus arm technology
US9329271B2 (en) 2010-05-10 2016-05-03 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US9684078B2 (en) 2010-05-10 2017-06-20 Faro Technologies, Inc. Method for optically scanning and measuring an environment
WO2012033892A1 (en) * 2010-09-08 2012-03-15 Faro Technologies, Inc. A laser scanner or laser tracker having a projector
CN103003713B (en) * 2010-09-08 2015-04-01 法罗技术股份有限公司 A laser scanner or laser tracker having a projector
GB2501390B (en) * 2010-09-08 2014-08-06 Faro Tech Inc A laser scanner or laser tracker having a projector
GB2501390A (en) * 2010-09-08 2013-10-23 Faro Tech Inc A laser scanner or laser tracker having a projector
CN103003713A (en) * 2010-09-08 2013-03-27 法罗技术股份有限公司 A laser scanner or laser tracker having a projector
US9417056B2 (en) 2012-01-25 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
WO2013156468A1 (en) * 2012-04-18 2013-10-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for operating a robot
US9618620B2 (en) 2012-10-05 2017-04-11 Faro Technologies, Inc. Using depth-camera images to speed registration of three-dimensional scans
US9372265B2 (en) 2012-10-05 2016-06-21 Faro Technologies, Inc. Intermediate two-dimensional scanning with a three-dimensional scanner to speed registration
US9739886B2 (en) 2012-10-05 2017-08-22 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US9746559B2 (en) 2012-10-05 2017-08-29 Faro Technologies, Inc. Using two-dimensional camera images to speed registration of three-dimensional scans
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner

Also Published As

Publication number Publication date Type
DE102006035292B4 (en) 2010-08-19 grant

Similar Documents

Publication Publication Date Title
US6675032B2 (en) Video-based surgical targeting system
US20050027186A1 (en) Video-based surgical targeting system
DE3717871C2 (en)
DE19751761B4 (en) System and method for accurate current sensing of treatment target points
DE3838011A1 (en) Method and apparatus for generating images of the anatomy
DE102007017794B3 (en) Method for positioning of displaceable patient couch in medical diagnose unit, involves taking consequence of graphic data sets of patient couch with patient present at it by camera
DE4418216A1 (en) Positioning patients during radiological diagnosis or radiation therapy
DE19747427C2 (en) A device for bone segment navigation
DE10215808A1 (en) Surgical intervention navigation recording method in which a coordinate transform is calculated between an X-ray calibration phantom coordinate system and a position capture system using X-ray positive markers
DE10202091A1 (en) Determination of a coordinate transformation between a coordinate system belonging to a surgical navigation system and a coordinate system belonging to an X-ray imaging system by use of appropriate marker sets
EP0677278A1 (en) Stereotactic adapter and method for its use
DE19917867A1 (en) Method for image-guided treatment of patient; involves providing X-ray image for treatment area and reference structure, and using navigation system to determine position of treatment device on image
DE19909816A1 (en) Navigation system for conducting and supporting surgical procedures, marker or fiducial and pointer for a tracking device of a navigation system
DE19639615C2 (en) Reflektorenreferenzierungssystem for surgical and medical instruments, as well as marking system for neurosurgical treated body parts
DE19649082C1 (en) Remote control unit for implement with holder and two hexapods
DE19807884A1 (en) Computer-aided intra-operative anatomical object visualization method used during complex brain surgery
DE4032207A1 (en) Medical microscope for remote viewing and recording - uses data from multi-link mechanism to compute XYZ coordinates
DE19703556A1 (en) Method and arrangement for determining the position in the X-ray imaging
DE4412164A1 (en) Position indicator for medical tomograph units with dial light indicator
DE4304571A1 (en) Procedures for planning and monitoring of a surgical procedure
DE102008046348A1 (en) Method for computer-assisted planning of path of C-arm in treatment room for patient, involves determining optimal set of paths corresponding to targets, where target is set as value of minimum total risk of collision
DE102008022924A1 (en) Device for medical intervention, has medical instrument which is inserted in moving body area of patient, and robot with multiple free moving space grades
DE102008023760A1 (en) Position and condition determining arrangement for cross hole at intramedullary nail, has two cameras optically connected to markers by geometrical arrangement of markers to derive three 2-dimensional image coordinates
EP0560331A1 (en) Positioning device for a part of the body for therapeutic treatment
DE10322738A1 (en) Markerless automatic 2D C scan and preoperative 3D image fusion procedure for medical instrument use uses image based registration matrix generation

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
R084 Declaration of willingness to licence
R085 Willingness to licence withdrawn