-
Kameras können für die Steuerung, insbesondere für die Positionierung, von Geräten eingesetzt werden. Das Bild der Kamera kann als Rückkopplung einer Steuerung dienen. Auch können Steuerungsbefehle basierend aus einem Bild der Kamera abgeleitet werden. Weiterhin können Kameras für die Erkennung einer Geste und somit für die Gestensteuerung verwendet werden. Damit die Position des zu steuernden Gerätes oder einer Geste korrekt erkannt wird, ist eine zuverlässige Kalibrierung der Kamera erforderlich. Die Kalibrierung einer Kamera kann grundsätzlich sowohl die intrinsische Kalibrierung als auch die extrinsische Kalibrierung betreffen. Bei der intrinsischen Kalibrierung wird die interne Geometrie der Kamera bestimmt, beispielsweise die Brennweite der Kamera. Weiterhin können bei der intrinsischen Kalibrierung Korrekturfunktionen für optische Fehler wie Aberrationen bestimmt werden. Bei der extrinsischen Kalibrierung wird die Pose der Kamera in Raumkoordinaten bestimmt. Solche Raumkoordinaten werden auch als externe Koordinaten oder Weltkoordinaten bezeichnet. Bei der Pose handelt es sich um die Kombination von Orientierung und Position. Daher kann die Pose durch eine Drehmatrix und einen Ortsvektor beschrieben werden. Zur intrinsischen sowie zur extrinsischen Kalibrierung muss ein Gleichungssystem gelöst werden. Daher müssen bekannte Informationen bereit gestellt werden um die unbekannten Parameter des Gleichungssystems zu bestimmen. Bei den unbekannten Parametern handelt es sich beispielsweise um die Brennweite oder um einen Eintrag in der Drehmatrix.
-
Eine bekannte Methode zur intrinsischen sowie zur extrinsischen Kalibrierung wurde von Tsai unter dem Titel „A versatile camera calibration technique for high-accuracy 3D machine vision metrologyu sing off-the-shelf TV cameras and lenses" in IEEE Journal of Robotics and Automation, 3 (4), pp. 323–344, 1987, veröffentlicht. Für diese Methode ist es jedoch Voraussetzung, dass ein Phantom mit einem bestimmten Kalibrierungsmuster verwendet wird. Das Kalibrierungsmuster muss dabei genau bekannt sein. Insbesondere müssen die relativen Abstände bestimmter einzeln erkennbarer Punkte des Kalibrierungsmusters bekannt sein. Denn ein solches Kalibrierungsmuster stellt Informationen bereit um die unbekannten Parameter des Gleichungssystems zu lösen. Eine solche Kalibrierung ist aufwendig, da ein bestimmtes Phantom verwendet werden muss und auch das Phantom gegenüber der Kamera positioniert werden muss. Weiterhin ist die Kalibrierung fehleranfällig, da das Phantom ungenau positioniert werden kann.
-
Es ist insbesondere problematisch, dass die extrinsische Kalibrierung einer Kamera aufwändig und fehleranfällig ist. Während eine intrinsische Kalibrierung in der Regel nur ein einziges Mal für eine Kamera durchgeführte werden muss, so muss eine extrinsische Kalibrierung oft mehrmals während der Betriebsdauer einer Kamera durchgeführt werden. So werden Kameras immer häufiger für die Steuerung von Geräten verwendet, insbesondere in sicherheitsrelevanten Arbeitsbereichen. Beispielsweise kann eine Kamera zur Steuerung eines medizinischen Geräts verwendet werden. Ändert sich nun die Pose der Kamera, so muss eine erneute Kalibrierung erfolgen, da die Steuerung sonst ungenau und potentiell gefährlich wird. Eine Veränderung der Pose kann auch unbemerkt erfolgen, beispielsweise durch Erschütterungen oder eine versehentliche Berührung der Kamera. In einem solchen Fall ist den Benutzern der Kamera die aus der veränderten Pose resultierende Ungenauigkeit und potentielle Gefahr überhaupt nicht bekannt.
-
Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung die Kalibrierung, insbesondere die extrinsische Kalibrierung, einer Kamera weniger aufwendig und zuverlässiger zu gestalten. Es ist weiterhin wünschenswert, dass eine extrinsische Kalibrierung ohne Einsatz eines Phantoms mit bekanntem Kalibrierungsmuster sowie bevorzugt automatisiert erfolgen kann.
-
Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1, durch eine Datenverarbeitungseinheit nach Anspruch 10, durch ein motorisiertes Gerät nach Anspruch 15, durch ein Computerprogrammprodukt nach Anspruch 17 sowie durch ein computerlesbares Medium nach Anspruch 18.
-
Nachstehend wird die erfindungsgemäße Lösung der Aufgabe in Bezug auf die beanspruchte Datenverarbeitungseinheit sowie das beanspruchte Gerät als auch in Bezug auf das beanspruchte Verfahren beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen sind ebenso auch auf die anderen beanspruchten Gegenstände zu übertragen und umgekehrt. Mit anderen Worten können die gegenständlichen Ansprüche (die beispielsweise auf ein Gerät gerichtet sind) auch mit den Merkmalen, die in Zusammenhang mit einem Verfahren beschrieben oder beansprucht sind, weitergebildet sein. Die entsprechenden funktionalen Merkmale des Verfahrens werden dabei durch entsprechende gegenständliche Module ausgebildet.
-
Die Erfinder haben erkannt, dass wenigstens eine extrinsische Kalibrierung einer Kamera erfolgen kann, wenn wenigstens drei Referenzbilder eines Objekts mittels der Kamera aufgenommen werden, wobei das Objekt zwischen den Aufnahmen entlang unterschiedlicher Richtungen bewegt wird, wobei die Raumkoordinaten der Bewegungen bekannt sind. Da das Objekt entlang unterschiedlicher Richtungen bewegt wird, sind wenigstens zwei der Bewegungen linear unabhängig. Damit spannen die Bewegungen wenigstens eine räumlich zweidimensionale Fläche auf. Da die Raumkoordinaten der Bewegungen bekannt sind, stellen die Referenzbilder räumliche Informationen bereit. Für eine Kalibrierung müssen weiterhin Bildinformationen bestimmt werden, welche den räumlichen Informationen entsprechen. Anders als im Stand der Technik werden die Bildinformationen gewonnen, indem Referenzpunkte aus wenigstens drei der Referenzbilder ausgewählt werden, wobei jeder der Referenzpunkte einem Bereich des Objekts entspricht. Weiterhin wird wenigstens ein Punktetupel basierend auf wenigstens drei der Referenzpunkte bestimmt, wobei die Referenzpunkte eines bestimmten Punktetupels dem gleichen Bereich des Objekts in wenigstens drei der Referenzbilder entsprechen. Ein Punktetupel basiert also wenigstens auf drei Referenzpunkten. Weiterhin werden die Bildkoordinaten der Referenzpunkte sowie die Bildkoordinaten der Bewegungen basierend auf den Bildkoordinaten der Referenzpunkte bestimmt. Bei den Bildkoordinaten der Bewegungen handelt es sich um die gesuchten Bildinformationen, welche den räumlichen Informationen entsprechen. Die Erfindung ermöglicht es daher eine Pose der Kamera relativ zu dem Objekt basierend auf den Raumkoordinaten der Bewegungen sowie auf den Bildkoordinaten der Bewegungen vorteilhaft zu bestimmen.
-
Da es sich bei dem Objekt nicht um ein Phantom mit einem bekannten Kalibrierungsmuster handeln muss, kann die Erfindung mit geringem Aufwand durchgeführt werden. Die Erfindung kann sogar im laufenden Betrieb eines motorisierten Gerätes eingesetzt werden, da die Bewegungen eines von dem Gerät bewegten Objekts bekannt sind. Weiterhin können sehr verschiedene Bewegungen verwendet werden, solange diese bekannt sind. Damit kann die Erfindung bei sehr verschiedenen motorisierten Geräten eingesetzt werden und ist äußerst flexibel. Weiterhin ist die Kalibrierung zuverlässig, da sie nicht von der Qualität eines Phantoms mit einem bekannten Kalibrierungsmuster abhängt. Auch erlaubt die Erfindung eine Kalibrierung unabhängig von einem Phantom beliebig oft zu wiederholen. Wird das Objekt automatisch bewegt, dann kann die erfindungsgemäße Kalibrierung besonders einfach wiederholt werden und auch automatisch erfolgen.
-
Weiterhin kann die Erfindung in Form einer Datenverarbeitungseinheit ausgebildet sein, umfassend eine Kamera, eine Steuerungseinheit sowie eine Berechnungseinheit. Die Datenverarbeitungseinheit ist erfindungsgemäß dazu ausgebildet die verschiedenen Schritte des erfindungsmäßen Verfahrens auszuführen. Die Steuerungseinheit kann sowohl in Form von Hard- als auch von Software ausgebildet sein. Insbesondere kann die Steuerungseinheit Mittel zur Berechnung sowie zum Senden eines Steuerungssignals aufweisen, so dass die Steuerungseinheit die Steuerung der Bewegung des Objekts mit dem Steuerungssignal bewirkt.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt mit einem Computerprogramm sowie ein computerlesbares Medium. Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Steuereinrichtungen auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z. B. eine Dokumentation und/oder zusätzliche Komponenten auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
-
Weiterhin betrifft die Erfindung ein motorisiertes Gerät mit einer solchen Datenverarbeitungseinheit, ausgebildet zur bildbasierten Steuerung mittels von der Kamera aufgenommenen Bildern. Ein motorisiertes Gerät weist wenigstens einen Motor auf, insbesondere um eine Translationsbewegung und/oder eine Rotationsbewegung durchzuführen. Gemäß einer Variante der Erfindung ist das motorisierte Gerät in Form eines medizinischen Gerätes ausgebildet, umfassend eine Patientenliege, wobei das medizinische Gerät dazu ausgebildet ist die Patientenliege entlang unterschiedlicher Richtungen zu bewegen. In diesem Fall kann die Patientenliege die Funktion des Objekts ausüben, so dass die Kalibrierung besonders einfach wiederholt und automatisch durchgeführt werden kann. Bei dem medizinischen Gerät handelt es sich beispielsweise um ein bildgebendes Gerät, insbesondere um ein Computertomographie-Gerät, um ein Gerät für die Strahlentherapie oder um einen Roboter für die Chirurgie. Weiterhin kann das motorisierte Gerät auch Roboter für andere Einsatzzwecke betreffen, beispielsweise für die Fertigung.
-
Die Kamera befindet sich bei der Aufnahme der Referenzbilder in derselben Pose. Vorzugsweise ist die Kamera feststellbar installiert. Die Kamera kann feststellbar installiert und trotzdem beweglich sein. Beispielsweise kann die Kamera auf einem beweglichen und feststellbaren Gelenk installiert sein. Die Kamera kann an dem medizinischen Gerät oder an einem Gebäudeteil, insbesondere an einer Decke, befestigt sein.
-
Grundsätzlich kann das Objekt in jede Richtung bewegt werden, solange wenigstens ein identischer Bereich des Objekts in den Teilbildern enthalten ist. Vorzugsweise umfassen die Bewegungen nur Translationen, insbesondere entlang verschiedener Achsen, aber keine Rotation. Beispielsweise kann ein Objekt in Form einer Patientenliege in der Horizontalen und in der Vertikalen bewegt werden, insbesondere entlang der Systemachse eines Computertomographie-Geräts und senkrecht zu der Systemachse.
-
Die Referenzpunkte können besonders charakteristischen Bereichen des Objekts entsprechen. Beispielsweise können die Referenzpunkte besonders Bereichen des Objekts entsprechen, welche in den Testbildern besonders kontrastreich sind. Die Referenzpunkte können basierend auf einer Segmentierung des Objekts in den Referenzbildern bestimmt werden. Weiterhin können die Referenzpunkte basierend auf einer Erkennung des Objekts in den Referenzbildern, insbesondere mittels maschinellen Lernens, bestimmt werden. Die Referenzpunkte können jeweils mittels eines üblichen Algorithmus zur Mustererkennung, beispielsweise mittels eines Kantendetektionsalgorithmus, bestimmt werden.
-
Ein Punktetupel kann bestimmt werden, indem die Referenzbilder miteinander korreliert werden. Weiterhin kann ein Punktetupel basierend auf skaleninvarianten Merkmalen bestimmten werden. Bekannte Algorithmen zur Bestimmung Referenzpunkten aus Referenzbildern sind SIFT, SURF und BRISK. SIFT, SURF und BRISK sind Akronyme für die englischsprachigen Begriffe „Scale-Invariant Feature Transform“, „Speeded Up Robust Features“ und „Binary Robust Invariant Scalable Keypoints“ sind. In weiteren Ausführungsformen der Erfindung sind die Merkmale nur skaleninvariant gegenüber einer Translation, insbesondere, wenn es sich bei der Wegstrecke nur um eine Translation handelt.
-
Ein Punktetupel besteht aus einer Liste endlich vieler Einträge. Ein Punktetupel kann als Matrix angeordnet sein. Eine solche Matrize kann insbesondere n×m Einträge aufweisen, wobei n die Anzahl der Referenzpunkte ist, und wobei m die Anzahl der Referenzbilder, aus denen die n Referenzpunkte stammen. Weiterhin kann jeder der Einträge mehrere Untereinträge aufweisen. Handelt es sich bei einem Eintrag um eine Bildkoordinate, kann dieser beispielsweise zwei Untereinträge für die beiden Bildkoordinaten aufweisen.
-
Ein Punktetupel kann als Einträge insbesondere die Bildkoordinaten von Referenzpunkten aufweisen. Weiterhin kann ein Punktetupel als Einträge die Differenzen von Bildkoordinaten von Referenzpunkten und damit die Bildkoordinaten der Bewegungen aufweisen. Werden mehrere Punktetupel bestimmt, so entsprechen die Referenzpunkte unterschiedlicher Punktetupel vorzugsweise unterschiedlichen Bereichen des Objekts. Werden mehrere Punktetupel bestimmt, dann können auch mehrere Bildkoordinaten der Bewegungen unabhängig voneinander bestimmt werden. Das Bestimmen der verschiedenen Bildkoordinaten kann auch als Bestandteil des Bestimmens des wenigstens einen Punktetupels ausgebildet sein.
-
Gemäß einem weiteren Aspekt wird eine Vielzahl von Punkten in wenigstens drei der Referenzbilder identifiziert, wobei die Referenzpunkte basierend auf einer Verteilung der Punkte ausgewählt werden. Bei der Verteilung handelt es sich beispielsweise um eine Verteilung der Positionen der Punkte in Bildkoordinaten oder um eine Verteilung der Abstände der Punkte innerhalb eines Referenzbildes oder um eine Verteilung der Abstände der den gleichen Bereichen des Objekts entsprechenden Punkte aus verschiedenen Referenzbildern. Die Positionen oder die Abstände können insbesondere in Bildkoordinaten angegeben werden. Nun kann ein Kriterium angewendet werden, dass die Punkte in der Verteilung erfüllen müssen, damit sie als Referenzpunkt ausgewählt werden. Bei dem Kriterium kann es sich beispielsweise um das Überschreiten oder Unterschreiten eines Grenzwertes handeln. Bei dem Grenzwert handelt es sich beispielsweise um eine bestimmte Position oder um einen bestimmten Abstand.
-
Gemäß einem weiteren Aspekt der Erfindung werden die Referenzpunkte basierend auf a-priori Wissen über die Bewegungen ausgewählt. Beispielsweise kann es sich bei dem a-priori Wissen um einen Grenzwert handeln, welchen die Punkte, insbesondere in Bildkoordinaten, nicht überschreiten oder nicht unterschreiten dürfen. Weiterhin können Referenzpunkte basierend auf a-priori Wissen über die Pose der Kamera bestimmt werden, wobei das a-priori Wissen aus einer früheren Kalibrierung stammen kann. Weiterhin können auch die Punktetupel basierend auf a-priori Wissen bestimmt werden.
-
Gemäß einem weiteren Aspekt der Erfindung wird die Pose basierend auf einem Lochkamera-Modell bestimmt. Das Lochkamera-Modell macht besonders einfache Annahmen, so dass sich die offenen Parameter mit der erfindungsgemäßen Kalibrierung auch mit nur wenigen Punktetupeln äußert zuverlässig bestimmen lassen.
-
Gemäß einem weiteren Aspekt der Erfindung umfassen die Referenzbilder jeweils räumlich zweidimensionale Bilddaten, wobei die einzelnen Schritte des Auswählens und Bestimmens jeweils basierend auf den räumlich zweidimensionalen Bilddaten ausgeführt werden. Dabei kann es sich bei der Kamera insbesondere um eine konventionelle Kamera handeln, welche nur räumlich zweidimensionale Bilddaten aufnehmen kann.
-
Gemäß einem weiteren Aspekt der Erfindung weisen die Referenzbilder jeweils sowohl räumlich zweidimensionalen Bilddaten als auch Tiefenmessdaten auf. Dann handelt es sich bei der Kamera um eine 3D-Kamera. Dieser Aspekt der Erfindung ist von besonderer vorteilhaft, da die erfindungsgemäße Kalibrierung für 3D-Kameras von besonderer Bedeutung ist. Dies gilt insbesondere, wenn die 3D-Kamera zur Steuerung eines motorisierten Gerätes verwendet werden soll. Denn nur bei einer korrekten Kalibrierung kann eine bildbasierte Steuerung zuverlässig erfolgen.
-
Ein 3D-Bild umfasst ein räumlich zweidimensionales Bild, kurz 2D-Bild, wobei den einzelnen Bildpunkten des 2D-Bildes Tiefenmessdaten zugeordnet sind. Diese Tiefenmessdaten stellen also Informationen in einer dritten räumlichen Dimension dar. Eine 3D-Kamera ist dazu geeignet solche 3D-Bilder aufzunehmen. Daher kann es sich bei den Referenzbildern sowohl um 2D als auch um 3D-Bilder handeln. Die 3D-Kamera ist zur Detektion elektromagnetischer Strahlung ausgelegt, insbesondere zur Detektion elektromagnetischer Strahlung in einem im Vergleich zu Röntgenstrahlung niederfrequenten Spektralbereich, beispielsweise im sichtbaren oder infraroten Spektralbereich. Die 3D-Kamera ist beispielsweise als Stereokamera oder als Laufzeitmesssystem (im Englischen als „time-of-flight camera“ bekannt) ausgebildet. Die 3D-Kamera kann auch mittels strukturierter Beleuchtung dazu ausgelegt sein ein 3D-Bild aufzunehmen. Zum Empfangen des 3D-Bildes wird eine Schnittstelle benutzt. Bei der Schnittstelle handelt es sich um allgemein bekannte Hard- oder Software-Schnittstellen, z.B. um die Hardware-Schnittstellen PCI-Bus, USB oder Firewire.
-
Gemäß einem weiteren Aspekt der Erfindung werden Abstände zwischen Bereichen des Objekts zu der Kamera in Raumkoordinaten unter Berücksichtigung der Pose bestimmt, wobei die Bereiche jeweils einem der Referenzpunkte entsprechen. Da die Pose bestimmt ist und die Bewegungen bekannt sind, können aus diesen Informationen direkt die Abstände zwischen den Bereichen des Objekts zu der Kamera bestimmt werden. Dieser Aspekt ist besonders wichtig um eine 3D-Kamera vollständig zu kalibrieren, da die Abstände nun mit den Tiefenmessdaten der Kamera verglichen werden können.
-
Gemäß einem weiteren Aspekt der Erfindung werden die Abstände mit den Tiefenmessdaten verglichen, wobei diejenigen Abstände und Tiefenmessdaten miteinander verglichen werden, welche beide dem gleichen Bereich entsprechen, und eine Korrekturfunktion der Tiefenmessdaten wird basierend auf dem Vergleich berechnet. Die Korrekturfunktion gibt nun die Beziehung zwischen von der Kamera aufgenommenen Tiefenmessdaten und dem tatsächlichen Abstand in Weltkoordinaten an.
-
Gemäß einem weiteren Aspekt der Erfindung werden die verglichenen Abstände interpoliert und/oder extrapoliert, wobei die Korrekturfunktion basierend auf der Interpolation und/oder Extrapolation berechnet wird. Die Interpolation und/oder Extrapolation kann insbesondere derart erfolgen, dass für jeden Pixel der Kamera eine Korrekturfunktion vorliegt. Damit erfolgt die Kalibrierung besonders genau.
-
Die Korrekturfunktion kann sowohl kontinuierlich als auch stufenweise ausgebildet sein. Die Korrekturfunktion kann durch Bestimmen von freien Parametern einer vorgegebenen Funktion berechnet werden. Bei einer solchen vorgegebenen Funktion handelt es sich beispielsweise um eine lineare Funktion oder eine Polynomfunktion. Die Korrekturfunktion kann auch in Form einer Matrix vorliegen, wobei bestimmten Tiefenmessdaten bestimmte Abstände zugeordnet werden.
-
Die einzelnen Schritte des beschriebenen Verfahrens können sowohl automatisch als auch vollautomatisch erfolgen. "Automatisch" bedeutet im Kontext der vorliegenden Anmeldung, dass der jeweilige Schritt mittels einer Berechnungseinheit und/oder Steuereinheit selbstständig abläuft, und für den jeweiligen Schritt im Wesentlichen keine Interaktion einer Bedienperson mit dem bildgebenden System mit notwendig ist. Die Bedienperson muss höchstens berechneten Ergebnisse bestätigen oder Zwischenschritte ausführen. In weiteren Ausführungsformen der Erfindung mit „vollautomatisch“ durchgeführten Schritten ist zur Durchführung dieser Schritte gar keine Interaktion einer Bedienperson notwendig.
-
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispielen näher beschrieben und erläutert.
-
Es zeigen:
-
1 ein medizinisches Gerät mit einer Kamera und einer Datenverarbeitungseinheit,
-
2 ein Flussdiagramm des Verfahrens zum Kalibrieren einer Kamera,
-
3 eine Ansicht einer Patientenliege in einer ersten Position,
-
4 eine Ansicht einer Patientenliege in einer zweiten Position,
-
5 eine Ansicht einer Patientenliege in einer dritten Position,
-
6 eine Verteilung von Punkten.
-
1 zeigt ein motorisiertes Gerät am Beispiel eines Computertomographie-Gerätes. Das hier gezeigte Computertomographie-Gerät verfügt über eine Aufnahmeeinheit 17, umfassend eine Röntgenquelle 8 sowie einen Röntgendetektor 9. Die Aufnahmeeinheit 17 rotiert während der Aufnahme von Projektionen um eine Systemachse 5, und die Röntgenquelle 8 emittiert während der Aufnahme Röntgenstrahlen 2. Bei der Röntgenquelle 8 handelt es sich in dem hier gezeigten Beispiel um eine Röntgenröhre. Bei dem Röntgendetektor 9 handelt es sich in dem hier gezeigten Beispiel um einen Zeilendetektor mit mehreren Zeilen.
-
In dem hier gezeigten Beispiel liegt ein Patient 3 bei der Aufnahme von Projektionen auf einer Patientenliege 6. Die Patientenliege 6 ist so mit einem Liegensockel 4 verbunden, dass er die Patientenliege 6 mit dem Patienten 3 trägt. Die Patientenliege 6 ist dazu ausgelegt den Patienten 3 entlang einer Aufnahmerichtung durch die Öffnung 10 der Aufnahmeeinheit 17 zu bewegen. Die Aufnahmerichtung ist in der Regel durch die Systemachse 5 gegeben, um welche die Aufnahmeeinheit 17 bei der Aufnahme von Röntgenprojektionen rotiert. Bei einer Spiral-Aufnahme wird die Patientenliege 6 kontinuierlich durch die Öffnung 10 bewegt, während die Aufnahmeeinheit 17 um den Patienten 3 rotiert und Röntgenprojektionen aufnimmt. Damit beschreiben die Röntgenstrahlen 2 auf der Oberfläche des Patienten 3 eine Spirale. Zur Rekonstruktion eines tomographisches Bildes basierend auf den Röntgenprojektionen verfügt das hier gezeigte Computertomographie-Gerät weiterhin über eine Rekonstruktionseinheit 14.
-
Weiterhin weist das hier gezeigte tomographische Gerät eine Kamera 18 auf, welche mit einer Schnittstelle 16 zum Empfangen von durch die Kamera 18 aufgenommene Referenzbilder ist. In dem hier gezeigten Beispiel ist die Schnittstelle 16 als Teil des Computers 12 ausgebildet. Der Computer 12 ist mit einer Ausgabeeinheit in Form eines Bildschirms 11 sowie einer Eingabeeinheit 7 verbunden. Auf dem Bildschirm können sowohl rekonstruierte, tomographische Bilder als auch die Referenzbilder dargestellt werden. Bei der Eingabeeinheit 7 handelt es sich beispielsweise um eine Tastatur, eine Maus, einen sogenannten „Touch-Screen“ oder auch um ein Mikrofon zur Spracheingabe. Mittels der Eingabeeinheit 7 kann ein erfindungsgemäßes Computerprogramm gestartet werden. Die einzelnen Schritte des erfindungsgemäßen Verfahrens können durch die Eingabeeinheit unterstützt werden, beispielsweise kann durch einen Mausklick eine Auswahl von Referenzpunkten bestätigt werden. Bei dem hier gezeigten Computer 12 handelt es sich um eine Datenverarbeitungseinheit im Sinne der vorliegenden Erfindung.
-
Die Berechnungseinheit 15 ist dazu ausgelegt mit einem computerlesbaren Medium 13 zusammen zu wirken, insbesondere um die Schritte des hier näher beschriebenen Verfahrens auszuführen. In dem hier gezeigten Beispiel ist eine Steuerungseinheit 19 in den Computer 12 integriert und sendet ein Steuerungssignal 20 zum Bewegen der Patientenliege 6. Das Steuerungssignal 20 wird beispielsweise an einen Motor zum Bewegen der Patientenliege 6 gesendet. Die Bewegung kann sowohl entlang der Systemachse 5, also horizontal, als auch senkrecht zur Systemachse 5, insbesondere vertikal, erfolgen. Die Bewegungen der Patientenliege 6 in unterschiedliche Raumrichtungen können dabei unabhängig voneinander erfolgen.
-
2 zeigt ein Flussdiagramm des Verfahrens zum Kalibrieren einer Kamera. Dabei erfolgt zuerst der Schritt Aufnehmen REC von wenigstens drei Referenzbildern eines Objekts mittels der Kamera 18, wobei das Objekt zwischen den Aufnahmen entlang unterschiedlicher Richtungen bewegt wird. Dabei sind die Raumkoordinaten der Bewegungen bekannt. In der hier gezeigten Ausführungsform werden drei Referenzbilder aufgenommen, wobei die Bewegungen zwischen den Aufnahmen jeweils rechtwinklig zueinander erfolgen. In dieser Ausführungsform wird die Patientenliege 6 zwischen der Aufnahme eines ersten Referenzbildes 31 sowie eines zweiten Referenzbildes 32 horizontal entlang der Systemachse 5 bewegt, und zwischen der Aufnahme eines zweiten Referenzbildes 32 sowie eines dritten Referenzbildes 33 vertikal bewegt. Die Bewegungen sind in diesem Ausführungsbeispiel vorgegeben und werden automatisch nach Start eines entsprechenden Computerprogramms ausgeführt. In weiteren Ausführungsformen können die Bewegungen von einer Bedienperson vorgegeben oder aus verschiedenen Vorschlägen für die Bewegungen ausgewählt werden.
-
Dann folgt der Schritt Auswählen SEL von Referenzpunkten aus wenigstens drei der Referenzbilder wobei jeder der Referenzpunkte einem Bereich des Objekts entspricht. Zur Veranschaulichung wird in 3, 4 und 5 in jedem der Referenzbilder 31, 32, 33 jeweils nur ein Referenzpunkt 41, 42, 43 hervorgehoben. Die hervorgehobenen Referenzpunkte 41, 42, 43 werden als schwarze Kreise dargestellt, während die anderen Referenzpunkte als leere Kreise dargestellt werden. Dadurch spannen die drei Referenzpunkte 41, 42, 43 eine Ebene im Raum auf. Typischer Weise werden die Referenzpunkte aus einer Vielzahl von Punkten ausgewählt, wobei die Referenzbilder miteinander verglichen oder miteinander korreliert werden. Die Referenzpunkte 41, 42, 43 entsprechen in dem hier gezeigten Beispiel einer Ecke der Patientenliege 6. In weiteren Ausführungsformen können die Referenzpunkte auch anderen, besonderen Bereichen eines Objekts entsprechen. Die Größe dieser Bereiche ist typischer Weise klein im Vergleich zu dem Objekt bzw. ist die Größe der Punkte typischer Weise klein im Vergleich zu den Referenzbildern. In verschiedenen Ausführungsformen kann ein Referenzpunkt mit Subpixelgenauigkeit bestimmt werden oder einem Bereich entsprechen, welcher mehrere Pixel groß ist.
-
Ein weiterer Schritt ist das Bestimmen D-1 wenigstens eines Punktetupels basierend auf wenigstens drei der Referenzpunkte. Dabei entsprechen die Referenzpunkte eines bestimmten Punktetupels dem gleichen Bereich des Objekts in wenigstens drei der Referenzbilder. In dem hier gezeigten Beispiel weist das Punktetupel die Bildkoordinaten der drei Referenzpunkte 41, 42, 43 auf. Die Bildkoordinaten können insbesondere als Koordinatenpaar angegeben werden, welche den Koordinaten der zweidimensionalen Bilddaten der Kamera 18 entsprechen. Weiterhin erfolgt der Schritt des Bestimmens D-2 der Bildkoordinaten der Referenzpunkte. In dem hier beschriebenen Ausführungsbeispiel ist der Schritt Bestimmen D-2 als Teil des Schrittes Bestimmen D-1 ausgebildet.
-
Es erfolgt das Bestimmen D-3 der Bildkoordinaten der Bewegungen basierend auf den Bildkoordinaten der Referenzpunkte. Das Bestimmen D-3 kann insbesondere durch einen direkten Vergleich der Bildkoordinaten der Referenzpunkte erfolgen, beispielsweise indem die Koordinatenpaare jeweils voneinander subtrahiert werden. Das Bestimmen D-3 kann auch als das Bestimmen von Bewegungsvektoren beschrieben werden, welche die Bewegungen des Objekts beschreiben.
-
Es erfolgt das Bestimmen D-4 einer Pose der Kamera 18 relativ zu dem Objekt basierend auf den Raumkoordinaten der Bewegungen sowie auf den Bildkoordinaten der Bewegungen. Dabei sind die Raumkoordinaten der Bewegungen bereits bekannt. Durch das Bestimmen D-4 der Pose kann die Kalibrierung der Kamera 18 mit geringem Aufwand und äußerst zuverlässig gestaltet werden. In der hier beschriebenen Ausführungsform wird das Bestimmen D-4 basierend auf einem Lochkamera-Modell ausgeführt.
-
In dem in 2 gezeigten Flussdiagramm kennzeichnen die gestrichelten Linien optionale Schritte. Handelt es sich bei der Kamera 18 um eine 3D-Kamera und weisen die Referenzbilder sowohl räumlich zweidimensionale Bilddaten als auch Tiefenmessdaten auf, dann ist ein optionaler Schritt das Bestimmen D-5 von Abständen zwischen Bereichen des Objekts zu der Kamera 18 in Raumkoordinaten unter Berücksichtigung der Pose, wobei die Bereiche jeweils einem der Referenzpunkte entsprechen. Dieser Schritt ermöglicht eine weitergehende Kalibrierung einer 3D-Kamera und ist daher von besonderer Bedeutung für moderne Konzepte zur Bedienung und Steuerung motorisierter Geräte.
-
Insbesondere kann die Steuerung der Position einer Patientenliege 6 auf der Aufnahme von 3D-Bildern der Patientenliege 6 und/oder eines auf der Patientenliege 6 gelagerten Patienten 3 beruhen, wobei eine mittels des beanspruchten Verfahrens kalibrierte 3D-Kamera für die Aufnahme der 3D-Bilder verwendet wird. Ist die 3D-Kamera kalibriert, dann ist die Beziehung zwischen den Bildkoordinaten von durch die 3D-Kamera aufgenommene 3D-Bilder und den Raumkoordinaten bekannt. Wird nun die Patientenliege 6 und/oder ein auf der Patientenliege 6 gelagerter Patient 3 in den 3D-Bildern automatisch, insbesondere mittels maschinellen Lernens, erkannt, dann kann die Position der Patientenliege 6 und/oder des auf der Patientenliege 6 gelagerten Patienten 3 in Raumkoordinaten bestimmt werden. Weiterhin kann dann berechnet werden, wie die Patientenliege 6, insbesondere während der Aufnahme eines tomographischen Bildes, bewegt werden muss, damit die Patientenliege 6 und/oder der Patient 3 eine bestimmte Position einnimmt. Es ist besonders wichtig, dass die Patientenliege 6 und/oder der Patient 3 eine bestimmte Position einnimmt, damit ein bestimmter Körperbereich des Patienten 3 von der Aufnahme eines tomographischen Bildes erfasst wird.
-
Weiterhin kann beim Kalibrieren der 3D-Kamera das Vergleichen COM der Abstände mit den Tiefenmessdaten erfolgen, wobei diejenigen Abstände und Tiefenmessdaten miteinander verglichen werden, welche beide dem gleichen Bereich entsprechen. Nach dem Vergleichen COM erfolgt das Berechnen CAL einer Korrekturfunktion der Tiefenmessdaten basierend auf dem Vergleich. Auch ist es möglich den Schritt Interpolieren und/oder Extrapolieren der verglichenen Abstände durchzuführen, wobei die Korrekturfunktion basierend auf der Interpolation und/oder der Extrapolation POL berechnet wird.
-
Das Bestimmen D-1 kann auch als erstes Bestimmen, das Bestimmen D-2 als zweites Bestimmen, das Bestimmen D-3 als drittes, Bestimmen, das Bestimmen D-4 als viertes Bestimmen und das Bestimmen D-5 als fünftes Bestimmen bezeichnet werden.
-
3, 4 und 5 zeigen eine Ansicht einer Patientenliege in drei verschiedenen Positionen. Die Patientenliege 6 wird von einer ersten Position 51 in eine zweite Position 52 und von der zweiten Position 52 in die dritte Position 53 bewegt. Die erste Position 51 wird hier in einem ersten Referenzbild 31 dargestellt, die zweite Position 52 wird hier in einem zweiten Referenzbild 32 dargestellt, und die dritte Position 53 wird hier in einem dritten Referenzbild 33 dargestellt. In den Referenzbildern 31, 32, 33 werden nun Referenzpunkte bestimmt. Es ist ersichtlich, dass insbesondere die hervorgehobenen Referenzpunkte 41, 42, 43 in dem hier gezeigten Beispiel einem identischen Bereich der Patientenliege 6 entsprechen, nämlich einer Ecke der Patientenliege 6. Das in den Referenzbildern 31, 32, 33 dargestellte Fadenkreuz weist jeweils die gleichen Bildkoordinaten auf und dient der Visualisierung der Bewegungen der Patientenliege 6.
-
6 zeigt eine Verteilung von Punkten. Nun kann in jedem der Referenzbilder eine Vielzahl von Punkten bestimmt werden. In dem hier gezeigten Beispiel sind die Punkte mittels eines Kantendetektionsalgorithmus bestimmt worden. Die hier gezeigte Verteilung der Punkte betrifft die Häufigkeit v der Abstände dS der Punkte zu den jeweils am nächsten benachbarten Punkten. Die Häufigkeit v und die Abstände dS sind in 6 jeweils auf einer linearen Skala und einheitenlos aufgetragen. Die Verteilung basiert auf den 3, 4 und 5, wobei für die Verteilung alle Referenzbilder 31, 32, 33 und die in ihnen bestimmten Punkte verwendet wurden. Aus der Verteilung ist ersichtlich, dass es eine geringe Anzahl von Punkten gibt, welche einen besonders großen Abstand zu den am nächsten benachbarten Punkten aufweist. Insbesondere sind die Abstände dieser Punkte signifikant größer als die Abstände anderer Punkte. Daher ist es sinnvoll diese in 6 als Ausreißer 60 gekennzeichnete Punkte nicht als Referenzpunkte zu verwenden. Denn die Wahrscheinlichkeit, dass die Ausreißer 60 fehlerhafter weise bestimmt wurden, ist erhöht. Durch eine Verteilung kann das Auswählen SEL von Referenzpunkten also vereinfacht und beschleunigt werden. Alternativ können alle Punkte als Referenzpunkte verwendet werden, oder zumindest alle Referenzpunkte, für die ein entsprechender Referenzpunk in den anderen Referenzbildern gefunden wurde. Weiterhin können die Referenzpunkte auch manuell ausgewählt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- „A versatile camera calibration technique for high-accuracy 3D machine vision metrologyu sing off-the-shelf TV cameras and lenses“ in IEEE Journal of Robotics and Automation, 3 (4), pp. 323–344, 1987 [0002]
