DE10246147B4

DE10246147B4 - Multi-camera tracking system

Info

Publication number: DE10246147B4
Application number: DE10246147A
Authority: DE
Inventors: Markus Schill
Original assignee: VR MAGIC GmbH
Current assignee: Vrmagic De GmbH
Priority date: 2002-10-01
Filing date: 2002-10-01
Publication date: 2007-12-06
Anticipated expiration: 2022-10-02
Also published as: DE10246147A1; WO2004030560A2; AU2003283180A1; WO2004030560A3

Abstract

Positionsbestimmungsanordnung mit Farb- und IR-empfindlichen Kameramitteln zur Erfassung farbcodierter IR-Marker und einer Signalauswertestufe zur kamerasignalbasierten Markerbestimmung, dadurch gekennzeichnet, daß die Signalauswertestufe dazu ausgebildet ist, unter Triangulation heller, scharfer Flecken in IR-Bildern Markerpositionen zu bestimmen und an verrauschten und/oder ungenauen Farbbildern Farbwerte jener Bereiche zu bestimmen, die Markerpositionsprojektionen entsprechen, um die Marker auf Grund der Farbwerte zu identifizieren.Positioning arrangement with color and IR sensitive camera means for capturing color coded IR marker and one Signal evaluation stage for camera signal-based marker determination, characterized in that the Signal evaluation stage is designed to be brighter under triangulation, sharp spots in IR images to determine marker positions and on noisy and / or inaccurate color images color values of those areas too determine the marker position projections correspond to the markers to identify on the basis of the color values.

Description

Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte. Damit befaßt sich die vorliegende Erfindung mit einer kamerabasierten Positionsbestimmungsanordnung.The The present invention relates to the term claimed above. So busy The present invention relates to a camera-based position determining arrangement.

Kamerabasierte Positionsbestimmungsanordnungen sind bekannt. Sie werden etwa verwendet, um bei medizinischen Operationen die Position der für den Eingriff verwendeten Instrumente feststellen zu können und ausgehend von dieser Feststellung beispielsweise computergestützt zu steuern. Dabei wird typisch auf dem jeweiligen Instrument eine Markierung angebracht, anhand derer die Lage der Instrumente bestimmt werden kann. Die Markierung kann etwa im Infraroten eine starke Rückstreuung bzw. starke Rückreflexe aufweisen; beides wird für Zwecke der vorliegenden Erfindung nicht unterschieden, soweit nicht anders erwähnt. Die Verwendung von IR-Markierungen ist deshalb bevorzugt, weil sich hiermit besonders starke Signale ergeben, die somit eine präzise und durch Rauschen im Bild allenfalls wenig beeinträchtigte Ortung ermöglichen.camera-based Positioning arrangements are known. They are used about for medical intervention the position of the intervention to be able to determine the instruments used and from these Determination, for example, computer-aided control. It will typically marked on each instrument, by means of which the position of the instruments can be determined. The Marking can be in the infrared a strong backscatter or strong reflexes exhibit; both will be for Purpose of the present invention is not distinguished, if not mentioned differently. The use of IR markers is therefore preferred because this is particularly strong signals result, which is therefore a precise and little affected by noise in the picture at best Locate enable.

Sind nun, was üblich ist, mehrere Instrumente gleichzeitig im Einsatz, so müssen diese dauerhaft voneinander unterschieden werden. Hierzu gibt es unterschiedliche Verfahren im Stand der Technik. So können die Bahnen der Markierungen, nachdem diese einmal zugeordnet wurden, verfolgt werden. Dies ist rechnerisch aufwendig und ergibt überdies Probleme, wenn die Instrumente verdeckt werden und damit die Bahnen einige Zeit nicht erkannt werden. Hierzu wurde bereits vorgeschlagen, daß mehrere Kameras vorgesehen werden können, die eine redundante Beobachtung der zu verfolgenden Instrumente ermöglichen. Damit ist es weniger wahrscheinlich, daß die Bahnverfolgung aufgegeben werden muß. Auch ist es möglich, mit ersten Kameras andere Kameras zu beobachten und damit wiederum deren Position festzulegen, was es erlaubt, die Kameras immer wieder dicht an die Instrumente heran zu bewegen. Dies lindert das Problem bereits wesentlich.are well, usual is, several instruments at the same time in use, they must be permanently distinguished from each other. There are different ones Method in the prior art. So the lanes of markers, Once these have been assigned, they will be tracked. This is arithmetically complex and also causes problems when the Instruments are covered and thus the lanes for some time not be recognized. It has already been suggested that several cameras can be provided the one redundant observation of the instruments to be tracked enable. This makes it less likely that track tracking will be abandoned must become. It is also possible to watch other cameras with the first cameras and thus theirs again Position to determine what allows, the cameras again and again tight to move to the instruments. This already alleviates the problem essential.

Eine weitere Möglichkeit im Stand der Technik besteht darin, die Markierungen in ihrer Form unterschiedlich zu gestalten und/oder selbst mit Markierungen in Form etwa einer Zahl zu versehen und somit unterscheidbar zu machen. Problematisch ist hier, daß ein vergleichsweise hoher Aufwand zur Mustererkennung erforderlich ist, insbesondere weil das Objekt schräg im Raum liegen kann.A another possibility In the prior art, the markings are in their shape different and / or even with markings in Form a number and make it distinguishable. The problem here is that a comparatively high effort is required for pattern recognition, especially because the object can be slanted in space.

DE 196 39 615 C2 zeigt ein Reflektorenreferenzierungssystem mit mindestens zwei Kameras, einer mit den Kameras verbundenen Rechnereinheit, einer Strahlungsquelle für Infrarotstrahlung und einer Reflektorengruppe für diese Infrarotstrahlung, wobei die Reflektoren in einer nur für diese Reflektorengruppe charakteristischen Anordnung an den Instrumenten angebracht sind. DE 196 39 615 C2 shows a Reflektorenreferenzierungssystem with at least two cameras, a computer connected to the computer unit, a radiation source for infrared radiation and a reflector group for this infrared radiation, the reflectors are mounted in a characteristic only for this group of reflectors on the instruments.

DE 198 48 765 C2 offenbart ein Verfahren zur Positionierung einblendbarer Positionsmarken oder Strukturen in einem Videokamerabild von Objekten, bei dem der Raumabschnitt mit den Objekten von mindestens 2 Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen, und von mindestens einer Videokamera aufgenommen wird und aus den Bildinformationen der Kameras, die unsichtbares Licht erfassen, computergestützt die dreidimensionale Raumlage der Objekte errechnet wird. DE 198 48 765 C2 discloses a method for positioning fade-in position marks or structures in a video camera image of objects, wherein the space portion is captured with the objects of at least 2 cameras that detect invisible light, in particular infrared light, and at least one video camera and from the image information of the cameras, capture the invisible light, computer-aided the three-dimensional spatial position of the objects is calculated.

DE 42 05 406 A1 befasst sich mit einem Verfahren zu photogrammetrischen Vermessung eines statischen Objektes mit weitgehend handelsüblichen Video- oder CCD-Kameras. DE 42 05 406 A1 deals with a method for photogrammetric measurement of a static object with largely commercially available video or CCD cameras.

Es ist auch bereits bekannt, zur Erfassung Erfassung von Markern sowohl Infrarotkameras als auch Farbkameras simultan einzusetzen. Verwiesen wird insbesondere auf die WO 99/38449 A1 Weiter wird verwiesen auf die WO 01/43654 A1. Es ist jedoch zur Erzielung einer schnellen und einfachen Markerposition zur Erkennung wünschenswert, die bekannten Vorrichtungen noch zu vereinfachen.It is also already known for capturing markers both To use infrared cameras as well as color cameras simultaneously. Is referred in particular to WO 99/38449 A1. Reference is also made to FIGS WO 01/43654 A1. It is however to achieve a fast and simple marker position for detection desirable, the well-known To simplify devices yet.

Die Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereitzustellen.The Object of the present invention is new to the commercial To provide application.

Die Lösung dieser Aufgabe wird in unabhängiger Form beansprucht. Bevorzugte Ausführungsformen finden sich in den Unteransprüchen.The solution this task will be more independent Claimed form. Preferred embodiments can be found in the dependent claims.

Gemäß einem ersten wesentlichen Aspekt der Erfindung wird somit vorgeschlagen, daß eine Positionsbestimmungsanordnung mit Markierungserfaßungskameras zur Ausgabe markierungserfaßungsindikativer Signale und Signalauswertemitteln zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale so ausgestaltet ist, daß eine Vielzahl von IR- und Farbkameras zur Erfassung farbkodierter IR-Marker vorgesehen ist und die Signalauswertemittel zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.According to one first essential aspect of the invention is thus proposed that a position determination arrangement with markers cameras for issue mark detection indicator Signals and Signalauswertemitteln for marking position determination is configured in response to the camera signals that a plurality provided by IR and color cameras for capturing color-coded IR markers is and the signal evaluation means for marking identification in response are formed on the color camera signals.

Es wird mit anderen Worten eine einfache Erkennung, welche IR-Markierung sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort befindet, dadurch ermöglicht, daß die Markierung zugleich farbig ausgelegt wird und dann mit einer farbempfindlichen Kamera bestimmt wird, welche Farbe eine jeweilige Markierung aufweist. Auf diese Weise ist es möglich, die Rauscharmut der IR-Kameras, die sich aufgrund der sehr hellen Signale ergibt, bei der eigentlichen Positionsbestimmung auszunutzen und dann unter Ausnutzung der gegebenenfalls weniger präzisen Ortung durch die Farbkamera eine sehr einfache Identifikation vorzunehmen.In other words, it is possible to easily identify which IR marker is at a particular point in time at a particular location by making the marker colored at the same time and then determining with a color-sensitive camera which color has a respective marker. In this way, it is possible to exploit the low noise of the IR cameras, which results from the very bright signals, in the actual position determination and then making use of the possibly less precise location by the color camera to make a very simple identification.

Es sind dabei wenigstens 3 Kameras vorgesehen, wobei typisch 2 Infrarotkameras vorgesehen sein werden. Mit diesen zwei Infrarotkameras ist es möglich, die Position eines Markers sehr genau festzulegen, weil schon mit zwei Kameras auf bekannte Weise, etwa durch Triangulation, eine Positionsbestimmung erfolgen kann. In einer Grundvariante ist dagegen nur eine Farbkamera erforderlich, um die Marker, die auf den mit den IR-Kameras ermittelten Stellen befindlich sind, zu identifizieren.It At least 3 cameras are provided, typically 2 infrared cameras be provided. With these two infrared cameras it is possible to use the Position of a marker very precisely, because with two Cameras in a known manner, such as by triangulation, a position determination can be done. In a basic version, however, is only a color camera required to place the markers on the points detected by the IR cameras are located.

Besonders bevorzugt ist es, wenn die Positionsbestimmungsanordnung mit IR-Marker verwendet wird, die einen engen Rück strahlkegel aufweisen. Dann können nahe den IR-Kameras IR-Lichtquellen vorgesehen sind, wie IR-LEDs, so daß das Licht bei Erregung dieser Lichtquelle praktisch nur in die jeweilige IR-Kamera zurückfällt. Insbesondere wird also zumindest eine IR-Lichtquelle so nahe an einer IR-Kamera angeordnet, daß zumindest wesentliche Anteile des Rückstrahlkegels in diese IR-Kamera fallen. Es ist im übrigen zwar nicht zwingend erforderlich, die Marker zugleich als IR-Marker und farbig auszulegen. Vielmehr wäre es prinzipiell möglich, Farbfelder o.ä. getrennt von den IR-Markern anzubringen. Bevorzugt ist es jedoch in jedem Fall, wenn die IR-Marker zugleich farbig sind, weil dies die Auswertung vereinfacht.Especially it is preferred if the position-determining arrangement with IR marker is used, which have a narrow return cone cone. Then can provided near the IR cameras IR light sources are like IR LEDs, so that Light on excitation of this light source practically only in the respective IR camera recovers. Especially So at least one IR light source will be so close to an IR camera arranged that at least significant portions of the Rückstrahlkegels fall into this IR camera. It is not mandatory, by the way it is necessary to design the markers both as IR markers and in color. Rather, it would be it is possible in principle, swatches etc. separated from the IR markers. However, it is preferred in each Case, if the IR markers are also colored, because this is the evaluation simplified.

Es ist möglich, daß einer Mehrzahl von Kameras Lichtquellen zugeordnet sind, deren von den Markierungen rückgestreutes Licht zumindest überwiegend in die entsprechenden Kameras fällt. Mit anderen Worten wird bei besonders engen Rückstreukegeln von der für die Positionsbestimmung eingestrahlte Lichtenergie viel in die jeweilige Kamera zurückgestrahlt. Dies ist bevorzugt, weil so die Gesamtenergie, die auf das Sichtfeld eingestrahlt werden muß, geringer gehalten werden kann. Dies ist gerade bei Operationen, wo der Situs sehr hell auszuleuchten ist, relevant, da durch die hellen OP-Leuchten ohnehin eine starke Wärmebelastung gegeben ist. Es ist weiter möglich, in einem solchen Fall eine Steuerung vorzusehen, um die unterschiedlichen Lichtquellen separat zu erregen. Dies kann bei dicht beieinander liegenden Lichtquellen vorteilhaft sein, um eine noch bessere Trennung zu erzielen.It is possible, that one Plurality of cameras are assigned to light sources, theirs from the markings backscattered Light at least predominantly falls into the appropriate cameras. In other words, for very narrow backscatter cones of the for the position determination radiated light energy much back into the respective camera. This is preferable because so does the total energy acting on the field of view must be radiated can be kept lower. This is just for operations, where the site is very bright, relevant, because of the bright surgical lights anyway a strong heat load is given. It is further possible, in such a case to provide a control to the different To excite light sources separately. This can be close to each other lying light sources may be advantageous to even better separation to achieve.

Obwohl mit einer Farbkamera erfindungsgemäß gearbeitet werden kann, sind typisch wenigstens zwei vorgesehen. Dies ermöglicht einerseits eine bestimmte Redundanz, etwa gegen Ausfall einer Kamera oder zur Bestimmung einer Verschiebung, wenn eine Auswertung der Farben unter Heranziehung nur einer Kamera erfolgt. Andererseits und/oder alternativ ist es möglich, auch mit den Farbkameras eine Triangulation vorzunehmen. Dies ist besonders bevorzugt. Dann ist es möglich, die Groblage eines Objektes anhand der verrauschten und/oder ungenauen Farbbilder zu bestimmen und anhand der IR-Kamerabildauswertung festzulegen, wo genau die Markierungen im Raum sitzen, die mit den Farbkameras grob in ihrer Position erkannt und identifiziert wurden.Even though can be used with a color camera according to the invention, are typically at least two provided. On the one hand, this enables a specific one Redundancy, such as failure of a camera or to determine a Shift when evaluating the colors using only one camera takes place. On the other hand and / or alternatively it is possible, also to make a triangulation with the color cameras. This is special prefers. Then it is possible the coarse position of an object based on the noisy and / or inaccurate Determine color images and determine where, using the IR camera image evaluation exactly the marks in the room sit, which roughly with the color cameras were recognized and identified in their position.

Die Positionsbestimmungsanordnung wird bevorzugt so ausgebildet, daß wenigstens zwei IR- und zwei Farbkameras und eine Steuerung vorgesehen sind, um mit diesen Positionen zu bestimmen, insbesondere, um Positionen durch gegebenenfalls gewichtete Positionsbestimmung genauer festzulegen, um mit höherer Wiederholrate Messungen zu bestimmen, etwa indem phasenverschoben erst mit einem ersten Satz und dann mit einem zweiten Satz von je zwei IR-Kameras und einer Farbkamera Markierungspositionen erfaßt werden und/oder um, insbesondere bei zueinander beweglichen Kameras mit einem ersten Satz Kameras die Positionen weiterer Kameras zu kontrollieren und/oder zu bestimmen. Ein Wechsel zwischen Kameras kann etwa auch so erfolgen, daß zwei IR-Kameras und zwei Farbkameras vorgesehen sind und dann jede Farbkamera alternierend, aber synchron mit den beiden IR-Kameras ausgelesen wird. Das synchrone Auslesen gewährleistet, daß sich nicht durch rasche Bewegungen Fehler ergeben können. Das phasenverschobene alternierende Auslesen ist etwa dann vorteilhaft, wenn die maximal mögliche Auslesefrequenz der IR-Kameras höher als jene der Farbkameras ist. The Positioning arrangement is preferably formed so that at least two IR and two color cameras and a controller are provided, to determine with these positions, in particular, to positions determine more precisely by weighting where appropriate with higher Repeat rate to determine measurements, such as by phase shifting first with a first sentence and then with a second sentence of each two IR cameras and a color camera marking positions are detected and / or at, in particular with cameras movable with one another first set of cameras to control the positions of other cameras and / or to determine. A change between cameras can also be about done so that two IR cameras and two color cameras are provided and then every color camera alternating but read out synchronously with the two IR cameras becomes. Ensuring synchronous readout that yourself can not result in errors through rapid movements. The phase-shifted Alternate readout is about advantageous if the maximum possible Read-out frequency of the IR cameras higher than those of the color cameras.

Die Positionsbestimmungsanordnung ist besonders bevorzugt für die Anwendung in Operationssälen und kann insbesondere sterilisierbar und/oder mit Schnittstellen für die Positionierung von Instrumenten und/oder die Aufzeichnung von Instrumentenpositionen ausgebildet sein.The Positioning arrangement is particularly preferred for the application in operating theaters and in particular can be sterilized and / or with interfaces for the Positioning of instruments and / or recording of instrument positions be educated.

Es ist dann insbesondere möglich, eine Mehrzahl Kameras in eine Operationsleuchte einzubauen.It is then possible in particular to install a plurality of cameras in a surgical light.

Die Erfindung wird im folgenden nur beispielsweise anhand der Zeichnung erläutert. In dieser ist gezeigt durch:The Invention will now be described by way of example only with reference to the drawings explained. In this is shown by:

1 eine Anordnung gemäß der Erfindung. 1 an arrangement according to the invention.

Nach 1. zeigt eine allgemein mit 1 bezeichnete Positionsbestimmungsanordnung 1 mit Markierungserfaßungskameras 2 zur Ausgabe von für die Erfassung von Markierungen 3 indikativen Signalen und Signalauswertemitteln 4 zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale, wobei die Markierungserfaßungskameras 2 eine Vielzahl von IR- und Farbkameras zur Erfassung der farbkodierten IR-Marker 3 vorgesehen ist und die Signalauswertemittel 4 zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.To 1 , shows a general with 1 designated position determination arrangement 1 with markers cameras 2 for outputting for the detection of markings 3 indicative signals and signal evaluation means 4 for marker position determination in response to the camera signals, wherein the marker capture cameras 2 a variety of IR and color cameras for capturing color-coded IR markers 3 intended is and the signal evaluation means 4 for tag identification in response to the color camera signals.

Die Positionsbestimmungsanordnung 1 ist im vorliegenden Beispiel zur Verwendung in einem Operationsaal ausgebildet und insbesondere sind die Kameras 2 in einer Operationsleuchte 5 mit Lampen 5a eingebaut und mit dieser schwenkbar, so daß sie immer eine weitgehend freie Sicht auf den Situs aus kurzer Entfernung besitzen. Wohin die Operationsleuchte 5 geschwenkt wird und somit von welcher Position aus beobachtet wird, wird mit einem Satz raumfester Kameras (nicht eingezeichnet) beobachtet, die in der Decke oder den Wänden des Operationssaales angeordnet sind, wobei auf der Operationsleuchte diesen Kameras zugewandte Marker angeordnet sitzen (gleichfalls nicht eingezeichnet).The position determination arrangement 1 is designed in the present example for use in an operating room and in particular are the cameras 2 in a surgical light 5 with lamps 5a fitted and pivotable with this, so they always have a largely clear view of the site from a short distance. Where the surgical light 5 is pivoted and thus observed from which position, is observed with a set of solid cameras (not shown), which are arranged in the ceiling or the walls of the operating room, with the cameras on the operating light facing markers are arranged (also not shown) ,

Die Kameras 2 umfassen im vorliegenden, einfachen Ausführungsbeispiel zwei identische IR-Kameras 2a, 2c und eine Farbkamera 2b. Diese drei Kameras sind gemeinsam auf den Situs gerichtet. Die beiden IR-Kameras sind so zueinander angeordnet, daß die Position und Ausrichtung eines Instrumentes bzw. einer darauf angeordneten Markierung mit ihnen durch Triangulation erfaßbar ist. Nahe jeder Kamera 2a, 2b ist eine IR-LED 6a, 6b angeordnet, deren Licht auf den Situs und dessen Umgebung gerichtet ist, so daß insbesondere in der Nähe des Situs befindliche Marker 3 auf chirurgischen Instrumenten 7, die Licht in einem engen Kegel mit einem Öffnungswinkel alpha von etwa 3° in Richtung auf die LED und damit in die dicht daneben befindliche IR-Kamera rückstreuen. Marker-Klebefolien, die einen engen Rückstreukegel erzeugen, sind kommerziell erhältlich. Für die Zwecke der vorliegenden Erfindung sind solche Folien steril verpackt und farbkodiert, d.h. sie weisen eine einer Vielzahl unterschiedlicher Farben auf. Es sei darauf hingewiesen, daß die Marker nicht zwingend folienartig sein müssen, sondern auch zum Beispiel Kugelform besitzen können. Auch dann ist eine sterile Verpackung möglich.The cameras 2 In the present simple embodiment, two identical IR cameras are included 2a . 2c and a color camera 2 B , These three cameras are aimed together at the site. The two IR cameras are arranged relative to one another such that the position and orientation of an instrument or a marking arranged thereon can be detected with them by triangulation. Near every camera 2a . 2 B is an IR LED 6a . 6b arranged, whose light is directed to the situs and its surroundings, so that in particular in the vicinity of the situs located markers 3 on surgical instruments 7 , the light back in a tight cone with an opening angle alpha of about 3 ° in the direction of the LED and thus in the closely adjacent IR camera back. Marker adhesive sheets that produce a narrow backscatter cone are commercially available. For the purposes of the present invention, such films are sterile-packaged and color-coded, that is, they have one of a variety of different colors. It should be noted that the markers need not necessarily be film-like, but may also have, for example, spherical shape. Even then a sterile packaging is possible.

Weiter ist eine farbempfindliche Kamera 2b vorgesehen, die ein farbiges Bild des Situs aufnimmt und mit der demgemäß erkannt werden kann, welche Farbkodierung der Marker 3 besitzt. Es sind mit der festen Anordnung der Kameras in der Operationsleuchte auch die Abbildungeigenschaften des Systems und insbesondere der Farbkamera bekannt, so daß errechnet werden kann, wohin ein bestimmter Raumpunkt innerhalb des Sichtfeldes auf dem Bild abgebildet wird.Next is a color-sensitive camera 2 B provided, which receives a colored image of the site and with which can be recognized accordingly, which color coding of the marker 3 has. With the fixed arrangement of the cameras in the operating light, the imaging properties of the system and in particular of the color camera are also known, so that it can be calculated where a particular point in space within the field of view is imaged on the image.

Die Signale aus den Kameras 2 werden über Signalleitungen an die Signalauswertemittel 4 gespeist. Diese ist dazu ausgebildet, durch Triangulation aus den Signalen der IR-Kameras die XYZ-Position der Markierung zu bestimmen. Weiter ist sie dazu ausgebildet, zu einer gegebenen XYZ-Position im Raum zu ermitteln, wohin diese im Bild der Farbkamera projiziert wird und dann die Farbe bei diesem Bildpunkt zu ermitteln, um die Markierung und damit das Instrument 7 anhand der Farbe zu erkennen.The signals from the cameras 2 be via signal lines to the signal evaluation 4 fed. This is designed to determine the XYZ position of the marking by triangulation from the signals of the IR cameras. Further, it is designed to determine for a given XYZ position in space where it is projected in the image of the color camera and then to determine the color at that pixel, around the marker and thus the instrument 7 to recognize by the color.

Die Anordnung kann wie folgt verwendet werden:
Das System wird einmal kalibriert. Dann werden die sterilen IR-Markierungen definiert auf einer Reihe chirurgischer Instrumente 7 angebracht, wobei jedem Instrument eine Markierung in einer anderen, von der Farbkamera unterscheidbaren Farbe zugeordnet wird.The arrangement can be used as follows:
The system is calibrated once. Then the sterile IR markers are defined on a series of surgical instruments 7 attached, each instrument is assigned a mark in another, distinguishable from the color camera color.

Nun wird die Operationsleuchte 5 an eine vorgegebene und bekannte Stelle über dem Situs bewegt. Hernach wird ein erstes der Instrumente 7 im Sichtfeld der Kameras verwendet und die IR-Leds bei jeder Kamera erregt. Die dabei mit der zugeordneten Kamera 2a, 2b erhaltenen Bilder weisen dort, wo die Markierung sitzt, einen scharfen, hellen Fleck auf, während die anderen Bereiche dunkel sind.Now the surgical light 5 moved to a given and known location above the site. Afterwards becomes a first of the instruments 7 used in the field of view of the cameras and the IR Leds excited at each camera. The case with the associated camera 2a . 2 B Images obtained have a sharp, bright spot where the mark sits, while the other areas are dark.

Die Bilder der beiden IR-Kameras 2a, 2c werden nun ausgewertet, um durch Triangulation die genaue Position der Markierung im Raum zu ermitteln. Da die relativen Positionen der Kameras zueinander bekannt und das System kalibriert ist, kann dies ohne weiteres geschehen.The pictures of the two IR cameras 2a . 2c are now evaluated to determine by triangulation the exact position of the mark in the room. Since the relative positions of the cameras to each other known and the system is calibrated, this can be done easily.

Nun wird bestimmt, wohin der XYZ-Punkt, an dem sich die Markierung befindet, auf der Farbkamera abgebildet wird. Dann wird ein Bild mit der Farbkamera aufgenommen und der Farbwert an jenem Bildbereich, auf dem sich die Markierung befinden soll, ermittelt. Anhand des Farbwertes wird bestimmt, welches Instrument die Markierung trägt und es ist somit die Position dieses eindeutig identifizierten Instrumentes bekannt.Now determine where the XYZ point where the marker is located is displayed on the color camera. Then take a picture with the color camera taken and the color value at that image area on which the mark is to be determined. Based on the color value is determines which instrument wears the marker and thus it is the position this clearly identified instrument known.

Es sei zunächst erwähnt, daß einleuchtenderweise nicht nur eine Positionsbestimmung möglich ist, sondern auch räumliche Ausrichtungen ermittelt werden können. Dazu können etwa zwei oder mehr Markierungen auf einem Instrument vorgesehen werden.It be first mentioned, that, plausibly not only a position determination is possible, but also spatial Alignments can be determined. Can do this about two or more marks on an instrument provided become.

Wenn mehr als eine Markierung simultan im Blickfeld der Kameras ist, etwa weil mehr als ein Instrument verwendet wird und/oder weil auch dessen räumliche Ausrichtung ermittelt werden soll, kann es bevorzugt sein, wenn mehr als eine Farbkamera vorhanden ist. Es kann dann insbesondere auch mit diesen ein Triangulation vorgenommen werden und es ist möglich, eine geeignete Zuordnung festzulegen, mit welcher IR-Markierung eine Korrespondenz an einer gegebenen Stelle am wahrscheinlichsten ist. So können durch Projektion eines mit den Farbkameras ermittelten xyz-Punktes gegebener Farbe auf die IR-Kameras entsprechende Bereiche identifiziert werden, auf denen ein IR-Signal zu erwarten ist. Die genaue Position dieser IR-Punkte wird dann ermittelt, um so eine genauere xyz-Koordinate zu erhalten.If more than one marker is simultaneously in the field of view of the cameras, for example because more than one instrument is being used and / or because its spatial orientation is also to be determined, it may be preferable if more than one color camera is present. Triangulation can then be carried out in particular also with these, and it is possible to determine an appropriate assignment with which IR marking a correspondence at a given location is most probable. Thus, by projecting an xyz point of given color determined by the color cameras onto the IR cameras corresponding areas are identified on which an IR signal is expected. The exact position of these IR points is then determined to obtain a more accurate xyz coordinate.

Weiter ist es möglich, eine größere Vielzahl an Kameras vorzusehen, um durch mehrfache Triangulation die Genauigkeit zu verbessern, eine Redundanz gegen Kameraausfall oder Sichtfeldverdeckung zu schaffen und/oder um durch phasenverschobenes Auslesen des Bildes die Zeitauflösung zu erhöhen.Further Is it possible, a larger variety Provide cameras by multiple triangulation accuracy To improve a redundancy against camera failure or field of view occlusion create and / or by phase-shifted reading of the image the time resolution to increase.

Es sei erwähnt, daß durch andere Zuordnungen als oben angegeben gleichfalls eine Bestimmung von XYZ-Koordinaten mit mehr als zwei IR- und Farbkameras möglich ist.It be mentioned that by Assignments other than those specified above likewise a provision XYZ coordinates with more than two IR and color cameras is possible.

Claims

Positioning arrangement with color and IR-sensitive camera means for detecting color-coded IR markers and a signal evaluation stage for camera signal-based marker determination, characterized in that the signal evaluation stage is designed to determine marker positions under triangulation of bright, sharp spots in IR images and to noisy and / or or inaccurate color images to determine color values of those areas corresponding to marker position projections to identify the markers based on the color values.

Positioning arrangement according to one of the preceding Claims, characterized in that more as two IR and / or more than two color cameras are provided and a controller is provided to simultaneously and / or with these to determine alternating positions, preferably to positions more accurately and / or with a higher repetition rate to determine and / or to, preferably in mutually movable cameras with a first set of cameras to the positions of other cameras control and / or determine.

Positioning arrangement according to one of the preceding claims for recording color-coded IR markers with narrow reflection cone especially in the infrared, where close to the IR cameras IR light sources are provided, in particular so close that at least significant proportions of the return cone fall into the IR camera.

Positioning arrangement according to one of the preceding Claims, characterized in that at least 3 cameras are provided.

Positioning arrangement according to one of the preceding Claims, characterized in that at least 2 infrared cameras are provided.

Positioning arrangement according to one of the preceding Claims, characterized in that at least two color cameras are provided.

Positioning arrangement according to one of the preceding claims for operating theaters.

Positioning arrangement according to one of the preceding Claims, wherein a plurality of cameras installed in a surgical light is.

Positioning method with color and IR cameras, color-coded Capture IR markers, characterized in that from IR camera images bright, sharp spots are triangulated to marker positions to determine projections of detected spots of bright spots be determined on color camera images and inaccurate and / or noisy Color images for those areas color values are determined that reflect the marker position projections correspond to identify the markers.