-
GEBIET DER ERFINDUNG
-
Die Erfindung bezieht sich auf ein Bestimmen dreidimensionaler Objektschlüsselpunkte für medizinische Untersuchungen.
-
HINTERGRUND DER ERFINDUNG
-
Die Vorbereitung einer Person für medizinische Untersuchungen (z. B. Magnetresonanz-, Ultraschall-, CT-Scans usw.) ist eine zeitintensive Aufgabe und erfordert trainierte Bediener. Zum Beispiel muss der Bediener bei Magnetresonanz-Scans (MR-Scans) Oberflächenspulen auf der abzubildenden Anatomie platzieren. Die Scanebene muss entsprechend definiert werden, um den Erfassungsscan auszuführen. Um die Scanebene zu definieren, wird üblicherweise ein Lichtvisier verwendet, nachdem die Anordnung der Person (einschließlich Decken, Kissen, Hörschutz, Schwesternruf) abgeschlossen wurde. Oftmals ist die Sicht auf die Zielanatomie durch die Art der Anordnung der Person blockiert. Die Lichtvisier-Laservorrichtung wird eingeschaltet und die Person wird mit der Anordnung zu der markierten Referenzposition bewegt. Dann drückt der Bediener eine Taste, um die Koordinaten zu aktivieren und zu dem Scanner zu übertragen.
-
In jüngster Zeit wurde die Verwendung von optischen 3D-Tiefenerfassungskameras vorgeschlagen, um diese Aufgabe zu vereinfachen und zu automatisieren. In verdeckten Szenarien weist dieser Ansatz jedoch Einschränkungen auf. Wenn zum Beispiel eine Spule auf der Oberseite der abzubildenden Anatomie platziert wird, ist es äußerst schwierig, die 3D-Position der verdeckten Anatomie mit einer Tiefenerfassungskamera zuverlässig und genau zu bestimmen, da keine gültigen Tiefenmesswerte verfügbar sind. Zusätzlich sind die Tiefenmesswerte nur für das oberste Objekt in der Szenerie verfügbar. Optische Tiefenkameras können nicht durch Objekte „sehen“.
-
Somit besteht ein Bedarf bezüglich eines Systems, um genaue und zuverlässige 3D-Koordinaten wichtiger Schlüsselpunkte während der medizinischen Untersuchungen zu erhalten. Zusätzlich besteht ein Bedarf bezüglich eines Systems, das die 3D-Koordinaten von verdeckten Schlüsselpunkten erhalten kann.
-
EP 3693926 offenbart ein trainiertes Netz, um eine dreidimensionale Körperoberfläche (3D-Körperoberfläche) und Körperregionen eines Patienten aus Oberflächenbildern des Patienten zu schätzen. Die geschätzte 3D-Körperoberfläche des Patienten wird verwendet, um ein Isozentrum des Patienten zu bestimmen. Die geschätzten Körperregionen werden verwendet, um Heatmaps zu erzeugen, die sichtbare Körperregionsgrenzen und unsichtbare Körperregionsgrenzen des Patienten darstellen.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Die Erfindung wird durch die Ansprüche definiert.
-
Gemäß Beispielen gemäß einem Gesichtspunkt der Erfindung wird ein System zum Erhalten von Objektschlüsselpunkten für ein Objekt in einem medizinischen Scanner bereitgestellt, wobei die Objektschlüsselpunkte dreidimensionale Koordinaten, 3D-Koordinaten, in Bezug auf den medizinischen Scanner von vorgegebenen Objektteilen sind, wobei das System umfasst:
- ein Kamerasystem zum Erhalten von zweidimensionalen Bildern, 2D-Bildern, des Objekts in dem medizinischen Scanner, wobei das Kamerasystem eine oder mehrere Kameras umfasst;
- einen Prozessor, der konfiguriert ist zum:
- Erhalten von Scannervariablen von dem medizinischen Scanner und/oder dem Kamerasystem, wobei der medizinische Scanner ein erstes bewegliches Teil enthält und/oder wobei das Kamerasystem ein zweites bewegliches Teil enthält und wobei die Scannervariablen die Position des ersten beweglichen Teils des medizinischen Scanners und/oder des zweiten beweglichen Teils des Kamerasystems einschließen;
- Bestimmen von Objektschlüsselpunktprojektionen in 2D-Koordinaten basierend auf den 2D-Bildern des Kamerasystems; und
- Bestimmen der Objektschlüsselpunkte in 3D-Koordinaten durch Triangulieren der Objektschlüsselpunktprojektionen in Bezug auf das Kamerasystem basierend auf den Scannervariablen.
- Üblicherweise wird in medizinischen Scannern (z. B. MRT-Scannern) ein Teil des Scanners bewegt, um ein Objekt in Form eines gewünschten Körperteils einer Person zu scannen. Zum Beispiel kann die Person auf einem Tisch in dem medizinischen Scanner liegen, während der Scanabschnitt des medizinischen Scanners stationär gehalten wird. Der Tisch wird dann mit der Person darauf derart bewegt, dass sich der gewünschte Körperteil in der Bildgebungsebene (oder in dem Bildgebungsabschnitt) des Scanners befindet.
-
Natürlich wird das Scanergebnis äquivalent sein, wenn die Person stationär ist und der Scanner relativ zu der Person bewegt wird. Die Kameras können sich dann mit dem Scanner bewegen, wodurch sich eine sich ändernde relative Position zwischen dem Kamerasystem und dem Objekt ergibt. In diesem Fall können die Scannervariablen die Position des Scanners und/oder die Position der Kameras enthalten. Im Allgemeinen enthalten die Scannervariablen die Position eines beweglichen Teils des medizinischen Scanners und/oder des Kamerasystems.
-
Um die beste Positionierung der Person in Bezug auf den medizinischen Scanner zu schätzen, können Objektschlüsselpunkte verwendet werden. Objektschlüsselpunkte können Körperteile (wie z. B. Kopf, Schultern, Ellbogen, Handgelenke, Hüfte, Knie, Knöchel usw.) einschließen und/oder sie können Objekte, die am Körper getragen werden, oder in der Nähe der Person (z. B. Spulen, EKG-Leitungen, Headsets usw.) einschließen. Um die Genauigkeit der Positionierung der Person zu erhöhen, ist es wünschenswert, die Objektschlüsselpunkte in 3D-Koordinaten zu erhalten.
-
Ein Kamerasystem kann verwendet werden, um 2D-Bilder des Objekts in dem medizinischen Scanner zu erhalten. Objektschlüsselpunktprojektionen, in 2D-Koordinaten, können aus den 2D-Bildern bestimmt werden, die den Objektschlüsselpunkten entsprechen. Das Kamerasystem könnte eine Kamera oder mehr als eine Kamera umfassen.
-
Zusätzlich kann das Kamerasystem aufgrund der Bewegung des medizinischen Scanners 2D-Bilder des Objekts an unterschiedlichen Ansichtspunkten (z. B. unterschiedlichen Winkeln) erhalten. Die Scannervariablen können auch aus dem medizinischen Scanner erhalten werden, die die Bewegungen des medizinischen Scanners quantifizieren (z. B. horizontale Bewegung, vertikale Bewegung, Bewegungswinkel usw.). Alternativ könnten die Kameras in dem Kamerasystem bewegt werden, um die verschiedenen Ansichtspunkte zu erhalten.
-
Die Scannervariablen können in Kombination mit den 2D-Bildern verwendet werden, die an verschiedenen Ansichtspunkten (und den Objektschlüsselpunktprojektionen jedes der Bilder) aufgenommen werden, um die Objektschlüsselpunktprojektionen zu triangulieren und somit die Objektschlüsselpunkte in 3D-Koordinaten in Bezug auf den medizinischen Scanner zu bestimmen.
-
Zum Beispiel kann ein erstes 2D-Bild einer Person in einem medizinischen Scanner durch eine erste Kamera aufgenommen werden. Ein erster Punkt (z. B. ein Pixel oder eine Gruppe von Pixeln) in dem ersten 2D-Bild kann bestimmt werden (d. h. eine erste Objektschlüsselpunktprojektion), die der Mitte des Kopfes der Person entspricht. Die Objektschlüsselpunktprojektion kann eine Projektion des 3D-Objektschlüsselpunkts auf das erste 2D-Bild sein.
-
Anschließend kann ein zweites 2D-Bild durch die erste Kamera aufgenommen werden, nachdem die Person in dem medizinischen Scanner durch einen beweglichen Teil des medizinischen Scanners bewegt wurde. Die Scannervariablen enthalten den Abstand, der durch den beweglichen Teil des medizinischen Scanners bewegt wird (und somit den Abstand, um den sich die Person bewegt hat). Ein zweiter Punkt in dem zweiten 2D-Bild kann bestimmt werden (d. h. eine zweite Objektschlüsselpunktprojektion), der der Mitte des Kopfes der Person entspricht.
-
Der erste Punkt und der zweite Punkt können somit verwendet werden, um die Objektschlüsselpunktprojektion zu triangulieren und somit den Objektschlüsselpunkt in 3D zu bestimmen. Triangulation bezieht sich auf den Prozess eines Bestimmens eines Punkts in dem 3D-Raum bei seinen Projektionen auf zwei oder mehr Bilder. Die Triangulation wird manchmal auch als Rekonstruktion oder Schnittpunkt bezeichnet.
-
Jeder Punkt in einem 2D-Bild entspricht einer Linie in dem 3D-Raum von einer Kamera (oder einem Sensor) zu dem entsprechenden Punkt in 3D-Koordinaten. Somit werden alle Punkte auf der Linie in 3D auf den Punkt in dem Bild projiziert. Ein Paar von Punkten in zwei Bildern entspricht sich, wenn sie die Projektion eines gemeinsamen 3D-Punktes (d. h. des Objektschlüsselpunkts) sind. Die zwei Linien zu dem Paar von Punkten schneiden sich somit an dem Objektschlüsselpunkt in 3D-Koordinaten.
-
Die Bewegung des beweglichen Teils des medizinischen Scanners kann so gestaltet werden, dass sie einer Bewegung der ersten Kamera gleichwertig ist, und somit kann angenommen werden, dass sich die erste Person nicht bewegt hat und das erste Bild mit der ersten Kamera erhalten wurde und das zweite Bild mit einer ersten virtuellen Kamera erhalten wurde, wobei die relative Position zwischen der ersten Kamera und der ersten virtuellen Kamera basierend auf dem Abstand gefunden werden kann, um den sich der bewegliche Teil des medizinischen Scanners bewegt hat.
-
Somit können eine erste Linie von der ersten Kamera (die dem ersten Punkt entspricht) und eine zweite Linie von der ersten virtuellen Kamera (die dem zweiten Punkt entspricht) bestimmt werden, wobei der Schnittpunkt der ersten Linie und der zweiten Linie in dem 3D-Raum den Objektschlüsselpunkt definiert.
-
In einigen Fällen schneiden sich die Linien möglicherweise nicht in dem 3D-Raum (z. B. aufgrund von Rauschen, Linsenverzerrung, Objektschlüsselpunkterfassungsfehlern usw.). In den Fällen, in denen sich die Linien nicht schneiden, kann der Mittelpunkt zwischen den zwei Linien (d. h. ein Punkt, der den Abstand zwischen der ersten und der zweiten Linie minimiert) als Objektschlüsselpunkt verwendet werden.
-
Es versteht sich für den Fachmann, dass ein zweites Bild alternativ mit einer zweiten Kamera an einer Position erhalten werden kann, die sich von der ersten Kamera oder der ersten Kamera, nachdem sich die erste Kamera relativ zu der Person bewegt hat, unterscheidet. Die Scannervariablen können somit den Abstand zwischen der ersten Kamera und der zweiten Kamera oder den Abstand enthalten, um den sich die erste Kamera bewegt hat.
-
Das 3D-Koordinatensystem ist in Bezug auf den medizinischen Scanner fixiert, sodass eine Position in dem 3D-Koordinatensystem eine Position in Bezug auf die (nicht beweglichen) Teile des medizinischen Scanners darstellt. Somit wird die Position der Objektschlüsselpunkte relativ zu dem medizinischen Scanner bestimmt, sodass der durch den Scanner abgebildete Teil der Person bekannt ist.
-
Der Prozessor kann konfiguriert sein, um mindestens zwei Objektschlüsselpunktprojektionen zu bestimmen. Eine Objektschlüsselpunktprojektion kann eine Projektion des Objektschlüsselpunkts auf das entsprechende 2D-Bild sein.
-
Jede Kamera in dem Kamerasystem kann ein entsprechendes Sichtfeld aufweisen.
-
Die Scannervariablen können die Position eines Teils des medizinischen Scanners einschließen, der eine relative Position zwischen den Kameras in dem Kamerasystem und dem Objekt bestimmt.
-
Der Prozessor kann konfiguriert sein, um Objektschlüsselpunktprojektionen eines der Bilder basierend auf einem Eingeben der Bilder in ein neuronales Netz zu bestimmen, wobei das neuronale Netz konfiguriert ist, um die Objektschlüsselpunktprojektionen in jedem der Eingabebilder auszugeben.
-
Neuronale Netz können trainiert werden, um Objektschlüsselpunktprojektionen in den 2D-Bildern zu identifizieren und 2D-Koordinaten für jede einzelne auszugeben. Zusätzlich können neuronale Netze trainiert werden, um die Objektschlüsselpunktprojektionen zu erfassen und/oder zu identifizieren, selbst wenn sie in dem Bild verdeckt sind. Zum Beispiel kann eine Schulter einer Person durch den medizinischen Scanner verdeckt sein und somit würde ein Bild der Person die Schulter nicht anzeigen. Das neuronale Netz kann jedoch die Muster zwischen den Beziehungen der Objektschlüsselpunktprojektionen lernen und die Position der verdeckten Schulter basierend auf der Position von zum Beispiel der anderen Schulter und dem Kopf sowie unter Verwendung der Muster schätzen, die das Netz zwischen beiden Schultern und dem Kopf (d. h. übliche Abstände zwischen ihnen) gelernt hat.
-
Das neuronale Netz kann trainiert werden, um die Beziehungen zwischen Objektschlüsselpunktprojektionen zu lernen, die verschiedenen Teilen des Objekts entsprechen. Mit anderen Worten, das neuronale Netz kann trainiert werden, um die räumliche Beziehung zwischen bestimmten Objektschlüsselpunktprojektionen zu lernen. Zum Beispiel kann das Objekt eine Person sein und das neuronale Netz kann mit Bildern der Person in dem medizinischen Scanner und einer Vielzahl von Objektschlüsselpunktprojektionen trainiert werden, die unterschiedlichen Körperteilen der Person entsprechen.
-
Das neuronale Netz kann auf einer neuronalen U-Net-Netzarchitektur basieren.
-
U-Net-Netze bestehen aus einem verengenden Pfad (contracting path) und einem erweiternden Pfad (expansive path). Der verengende Pfad ähnelt üblichen faltenden Netzen, die die Dimensionalität reduzieren, während die Merkmalsinformationen mit jeder Schicht des verengenden Pfads zunehmen. Der erweiternde Pfad kombiniert dann die erhöhten Merkmalsinformationen mit räumlichen Informationen durch eine Reihe von Aufwärtsfaltungen und Verkettungen, sodass jede Schicht des erweiternden Pfads die Dimensionalität der Daten erhöht.
-
Neuronale U-Net-Netze wurden für den Zweck der biomedizinischen Bildsegmentierung entwickelt und erfordern eine geringere Menge von Trainingsdaten, während Ausgaben mit hoher Präzision erzielt werden.
-
Das Kamerasystem umfasst genau eine Kamera. Die Bewegung des Scannerteils ermöglicht die Verwendung einer einzigen Kamera, um die Objektschlüsselpunkte zu erhalten.
-
Der medizinische Scanner kann ein Magnetresonanzbildgebungsscanner, MRT-Scanner, sein, der einen Tisch zum Positionieren einer Person und einen Bildgebungsabschnitt zum Erhalten medizinischer Bilder umfasst und wobei die Scannervariablen die Position des Tischs relativ zu dem Bildgebungsabschnitt einschließen.
-
Das Bestimmen der Objektschlüsselpunkte kann ferner auf dem Triangulieren der Objektschlüsselpunktprojektion in einem Bild, das vor einer ersten Bewegung aufgenommen wurde, und der Objektschlüsselpunktprojektion in einem Bild, das nach der ersten Bewegung aufgenommen wurde, basierend auf dem während der ersten Bewegung bewegten Abstand basieren.
-
Zum Beispiel kann die erste Bewegung ein Tisch bei einem MRT-Scanner sein, der sich 10 cm horizontal bewegt. Vor dieser Bewegung kann ein Bild aufgenommen werden und nach der Bewegung kann ein Bild aufgenommen werden, und die jeweiligen Objektschlüsselpunktprojektionen können für beide Bilder bestimmt werden. Die scheinbare Verschiebung zwischen zwei entsprechenden Schlüsselpunkten (z. B. Kopf) zwischen beiden Bildern kann berechnet werden, und somit kann der reale Abstand, 10 cm, verwendet werden, um die Objektschlüsselpunktprojektionen zu triangulieren und somit die 3D-Koordinaten des entsprechenden Objektschlüsselpunkts zu finden.
-
Der Prozessor kann ferner konfiguriert sein, um Bildgebungsparameter für den medizinischen Scanner basierend auf den Objektschlüsselpunkten zu bestimmen. Die Objektschlüsselpunkte können auf diese Weise auch verwendet werden, um Bildgebungsparameter für den medizinischen Scanner automatisch zu bestimmen. Die Bildgebungsparameter könnten die Bildgebungsebene, die Positionierung des Scanners usw. einschließen. Die Bildgebungsparameter würden von dem gewünschten abzubildenden Objektteil abhängen.
-
Wenn zum Beispiel der Bediener des medizinischen Scanners die L4-Wirbel abbilden möchte, kann der Prozessor übliche Abstände zwischen der Hüfte und den Schultern und den L4-Wirbeln verwenden, um die Positionierung (d. h. x-, y-, z-Positionierung) und den Winkel des Bildgebungsteils zu bestimmen, um die L4-Wirbel abzubilden.
-
Die Erfindung stellt auch ein Verfahren zum Erhalten von Objektschlüsselpunkten für ein Objekt in einem medizinischen Scanner bereit, wobei die Objektschlüsselpunkte dreidimensionale Koordinaten, 3D-Koordinaten, in Bezug auf den medizinischen Scanner sind, wobei das Verfahren umfasst:
- Erhalten von zweidimensionalen Bildern, 2D-Bildern, des Objekts in dem medizinischen Scanner von einem Kamerasystem, wobei das Kamerasystem eine oder mehrere Kameras umfasst;
- Erhalten von Scannervariablen von dem medizinischen Scanner und/oder dem Kamerasystem, wobei der medizinische Scanner ein erstes bewegliches Teil enthält und/oder wobei das Kamerasystem ein zweites bewegliches Teil enthält und wobei die Scannervariablen die Position des ersten beweglichen Teils des medizinischen Scanners und/oder des zweiten beweglichen Teils des Kamerasystems einschließen;
- Bestimmen von Objektschlüsselpunktprojektionen in 2D-Koordinaten basierend auf den 2D-Bildern; und
- Bestimmen der Objektschlüsselpunkte in 3D-Koordinaten durch Triangulieren der Objektschlüsselpunktprojektionen in Bezug auf das Kamerasystem basierend auf den Scannervariablen.
-
Das Bestimmen der Objektschlüsselpunktprojektionen eines beliebigen der Bilder kann auf einem Eingeben der Bilder in ein neuronales Netz basieren, wobei das neuronale Netz konfiguriert ist, um die Objektschlüsselpunktprojektionen in jedem der Eingabebilder auszugeben.
-
Das neuronale Netz kann auf einer neuronalen U-Net-Netzarchitektur basieren.
-
Das Kamerasystem kann eine Kamera umfassen.
-
Der medizinische Scanner kann ein Magnetresonanzbildgebungsscanner, MRT-Scanner, sein, der einen Tisch zum Positionieren eines Objekts und einen Bildgebungsabschnitt zum Erhalten von medizinischen Bildern umfasst, und wobei die Scannervariablen die Position des Tischs relativ zu dem Bildgebungsabschnitt enthalten.
-
Das Bestimmen der Objektschlüsselpunkte kann ferner auf dem Triangulieren der Objektschlüsselpunktprojektion in einem Bild, das vor einer ersten Bewegung aufgenommen wurde, und der Objektschlüsselpunktprojektion in einem Bild, das nach der ersten Bewegung aufgenommen wurde, basierend auf dem während der ersten Bewegung bewegten Abstand basieren.
-
Das Verfahren kann ferner ein Bestimmen von Bildgebungsparametern für den medizinischen Scanner basierend auf den Objektschlüsselpunkten umfassen.
-
Die Erfindung stellt auch ein Computerprogrammprodukt bereit, das Computerprogrammcodemittel umfasst, die bei Ausführung auf einer Datenverarbeitungsvorrichtung, die ein Verarbeitungssystem aufweist, das Verarbeitungssystem veranlassen, alle Schritte der vorstehend genannten Verfahren durchzuführen.
-
Diese und andere Gesichtspunkte der Erfindung werden aus der/den nachstehend beschriebenen Ausführungsform(en) ersichtlich und unter Bezugnahme auf diese erläutert.
-
Figurenliste
-
Für ein besseres Verständnis der Erfindung und um deutlicher zu zeigen, wie sie in die Praxis umgesetzt werden kann, wird nun lediglich beispielhaft auf die beigefügten Zeichnungen Bezug genommen, in denen:
- 1 eine Person auf dem Tisch eines medizinischen Scanners zeigt; und
- 2 ein Flussdiagramm zeigt, das zeigt, wie die Objektschlüsselpunkte zu erhalten sind.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Die Erfindung wird unter Bezugnahme auf die Figuren beschrieben.
-
Es versteht sich, dass die detaillierte Beschreibung und die spezifischen Beispiele, während sie beispielhafte Ausführungsformen der Einrichtung, Systeme und Verfahren angeben, nur zur Veranschaulichung gedacht sind und den Schutzumfang der Erfindung nicht einschränken sollen. Diese und andere Merkmale, Gesichtspunkte und Vorteile der Einrichtung, Systeme und Verfahren der vorliegenden Erfindung werden durch die folgende Beschreibung, die beigefügten Ansprüche und die begleitenden Zeichnungen besser verstanden. Es versteht sich, dass die Figuren lediglich schematisch sind und nicht maßstabsgetreu gezeichnet sind. Es versteht sich außerdem, dass in allen Figuren die gleichen Bezugszeichen verwendet werden, um die gleichen oder ähnliche Teile anzugeben.
-
Die Erfindung stellt ein System zum Erhalten von Objektschlüsselpunkten für ein Objekt in einem medizinischen Scanner bereit, wobei die Objektschlüsselpunkte dreidimensionale Koordinaten, 3D-Koordinaten, von vorgegebenen Objektteilen in Bezug auf den medizinischen Scanner sind. Das System umfasst ein Kamerasystem zum Erhalten von zweidimensionalen Bildern, 2D-Bildern, des Objekts in dem medizinischen Scanner, wobei das Kamerasystem eine oder mehrere Kameras und einen Prozessor umfasst. Der Prozessor ist konfiguriert, um Scannervariablen von dem medizinischen Scanner zu erhalten, wobei die Scannervariablen die Position eines Teils des medizinischen Scanners einschließen, der eine relative Position zwischen den Kameras in dem Kamerasystem und dem Objekt bestimmt. Der Prozessor bestimmt basierend auf den 2D-Bildern aus dem Kamerasystem Objektschlüsselpunktprojektionen in 2D-Koordinaten und bestimmt basierend auf den Scannervariablen die Objektschlüsselpunkte in 3D-Koordinaten durch Triangulieren der Objektschlüsselpunktprojektionen in Bezug auf das Kamerasystem.
-
1 zeigt eine Person 108 auf dem Tisch 104 eines medizinischen Scanners. Das Kamerasystem 102 befindet sich über der Person 108 (und dem medizinischen Scanner) und nimmt Bilder der Person 108, des medizinischen Scanners und aller Objekte auf. Zum Beispiel kann das Kamerasystem 102 Bilder aufnehmen, die die Person 108, den Bildgebungsabschnitt 106 des medizinischen Scanners und die Kopfstütze 112 einschließen. Die Bilder von dem Kamerasystem 102 können dann verwendet werden, um 3D-Koordinaten für Objektschlüsselpunkte 110 zu erhalten.
-
2 zeigt ein Flussdiagramm, das zeigt, wie die Objektschlüsselpunkte 110 zu erhalten sind. Aus den Bildern 202, die durch das Kamerasystem 102 erhalten werden, werden Objektschlüsselpunktprojektionen 204 bestimmt. Die Objektschlüsselpunktprojektionen 204 sind 2D-Koordinaten, die basierend auf den Objektschlüsselpunkten 110 auf die Bilder 202 projiziert werden. Diese können bestimmte Körperteile der Person 108 (Kopf, Schultern, Ellbogen, Hüften usw.) und Objekte wie z. B. die Kopfstütze 112, Spulen in dem Scanner usw. einschließen. Eine beliebige Anzahl von Bildern 202 kann basierend auf der Anzahl von Kameras in dem Kamerasystem 102 und der Zeit zwischen den Bildern 202 bestimmt werden.
-
Die Scannervariablen 206 werden ebenfalls aus dem medizinischen Scanner erhalten. Die Scannervariablen 206 geben die Position des Tischs 104 oder des Bildgebungsabschnitts 106 relativ zu dem Kamerasystem 102 an. Dies könnte die vertikale Position des Tischs 104, die horizontale Position des Tischs 104, den Winkel des Tischs 104 (falls zutreffend) oder beliebige andere Variablen einschließen, die die relative Position angeben. Ein Anfangsabstand kann zunächst bekannt sein (z. B., wenn sich der Tisch 104 vor einer medizinischen Untersuchung in einer Anfangsposition befindet). Der Abstand zwischen dem Kamerasystem 102 und dem Tisch 104 (oder dem Bildgebungsabschnitt 106) kann dann immer durch den Anfangsabstand und die Scannervariablen 206 bestimmt werden.
-
In einem ersten Beispiel werden zwei (oder mehr) Kameras in dem Kamerasystem 102 an unterschiedlichen Positionen verwendet, um zwei (oder mehr) Bilder 202 der Person 108 aufzunehmen. Die Bilder 202 stammen von verschiedenen Ansichtspunkten, da die Kameras nicht in der exakt gleichen Position positioniert werden können. Somit befinden sich die Objektschlüsselpunktprojektionen 204 in jedem der Bilder 202 nicht in der gleichen Position. Der Tisch 104 kann zwischen den Bildern 202 bewegt worden sein (d. h., wenn die Bilder 202 nicht gleichzeitig aufgenommen wurden). Die Bewegung des Tischs 104 kann jedoch durch die Scannervariablen 206 quantifiziert werden. Somit kann die Position der Person 108 in jedem der Bilder 202 basierend auf den Scannervariablen 206 „normiert“ (d. h. in eine ursprüngliche Position übersetzt) werden. Sobald jedes der Bilder 202 normiert ist, können die Objektschlüsselpunktprojektionen 204 an Punkt 208 in 2 trianguliert werden, wodurch Objektschlüsselpunkte 110 in 3D-Koordinaten erhalten werden. Es ist jedoch nicht notwendig, die Bilder 202 zu normieren, wenn die Bewegung des Tischs 104 während der Triangulation berücksichtigt werden kann.
-
In einem zweiten Beispiel wird nur eine Kamera in dem Kamerasystem 102 verwendet. Die Kamera nimmt zu unterschiedlichen Zeitpunkten Bilder 202 der Person 108 auf. Wenn sich der Tisch 104 bewegt, zeigen die Bilder 202 (zu unterschiedlichen Zeiten) des Tisch 104 und somit die Person 108 an unterschiedlichen Positionen. Aus dem bekannten Abstand zwischen dem Kamerasystem 102 und dem Tisch 104 (basierend auf den Scannervariablen 206) können die Objektschlüsselpunktprojektionen 204 verschiedener Bilder 202 trianguliert werden, um die Objektschlüsselpunkte 110 in 3D zu erhalten.
-
Mit den Scannervariablen können immer der Abstand und die relative Position zwischen dem Kamerasystem 102 und einem beliebigen Teil des medizinischen Scanners gefunden werden. Dies bedeutet auch, dass auch die relative Position zwischen der Person (und anderen Objekten) und dem Kamerasystem 102 bekannt ist. Dies ist auf die Art von medizinischen Scannern zurückzuführen, bei denen die Person zum Beispiel auf dem Tisch 104 des medizinischen Scanners platziert wird und bestimmte bekannte Objekte an der/um die Person (z. B. Kopfstütze 112, Decken usw.) platziert werden.
-
Die Scannervariablen können die horizontale Bewegung des Tischs 104 einschließen. Zum Beispiel kann der Tisch 104 eine horizontale Verschiebung von dx melden. Die Objektschlüsselpunktprojektionen 204 auf den Bildern 202 können für Bilder 202 bestimmt werden, die dem Start und dem Ende der Bewegung entsprechen. Die scheinbare Verschiebung zwischen den Objektschlüsselpunktprojektionen 204 in den Bildern 202 wird verwendet, um den Abstand der Schlüsselpunkte in Bezug auf die Kamera(s) zu triangulieren.
-
Zusätzlich können die Scannervariablen die vertikale Bewegung des Tischs 104 einschließen. Zum Beispiel könnte die Kamera „außermittig“ sein, sodass sich kein Objektschlüsselpunkt 110 in der zentralen Blickrichtung der Kamera befindet. Dies ist möglich, da das Sichtfeld der Kamera so gewählt werden kann, dass es groß genug ist. Die Kamera kann so positioniert sein, dass der Tisch 104 außermittig ist. Zusätzlich weisen moderne Kameras eine große Menge von Pixeln auf, sodass es einfach ist, einen beliebigen Objektschlüsselpunkt 110 außermittig darzustellen. Wenn sich der Tisch 104 vertikal bewegt, zeigen alle Objektschlüsselpunkte 110 eine scheinbare seitliche Bewegung während der vertikalen Bewegung und können unter Verwendung der scheinbaren seitlichen Verschiebung zwischen zwei oder mehr Bildern 202 für den bekannten vertikalen Bewegungsbereich in 3D trianguliert werden. Eine schräge zentrierte Ansicht kann gleichwertig verwendet werden.
-
Eine Relativbewegung kann auf die Bewegung von sich bewegenden Teilen des medizinischen Scanners zurückzuführen sein (und darauf, dass das Kamerasystem 102 unbeweglich bleibt). Eine Relativbewegung kann jedoch auch dadurch verursacht werden, dass das Kamerasystem 102 in Bezug auf den medizinischen Scanner (oder Teile des medizinischen Scanners) bewegt wird. Zum Beispiel kann das Kamerasystem 102 an einem stationären Teil des medizinischen Scanners platziert sein und ein anderer Teil des medizinischen Scanners kann sich bewegen (z. B. der Tisch 104). Der medizinische Scanner könnte zum Beispiel ein MRT-Scanner, ein CT-Scanner, ein Röntgenscanner, ein Ultraschallscanner usw. sein.
-
Ein neuronales Netzfilter kann verwendet werden, um die Objektschlüsselpunktprojektionen 204 aus den Bildern 202 zu bestimmen. Es wurde gezeigt, dass die Erfassung der Objektschlüsselpunktprojektion 204 basierend auf neuronalen Netzen auch bei verdeckten Szenerien funktioniert, die den korrekten visuellen Strahl auf die Objektschlüsselpunktprojektion 204 zurückführen, die hinter einem Hindernis verborgen sein kann. Dies kann aus mehreren Winkeln erfolgen, was zu einer Triangulation nur der Schlüsselpunkte führt, die dann eine zweckgebundene 3D-Rekonstruktion beliebiger abgefragter Objektschlüsselpunktprojektionen 204 auch hinter einem Hindernis ermöglicht.
-
Die Objektschlüsselpunkte 110 können beliebig auf der Oberfläche des Objekts innerhalb des Objekts definiert werden (z. B. innerhalb des Körpers der Person an einer Gelenkstelle). Neuronale Netze zur Gelenkschlüsselpunkterfassung können trainiert werden, um die Gelenkmitte aus beliebigen Ansichtswinkeln zu erfassen. Somit entspricht der triangulierte 3D-Objektschlüsselpunkt 110 der Gelenkmitte auch in 3D. Diese Beobachtung stellt einen grundlegenden Unterschied zu optischer 3D-Erfassung basierend auf Stereobildgebung oder Time-of-Flight-Bildgebung bereit, die nur oberste Oberflächenpunkte optisch reflektierender Oberflächen erfassen kann. Neuronale Netze für die Erfassung der Objektschlüsselpunkte 110 können für menschliche Körper, beliebige Schlüsselpunkte davon (angepasst an die klinische Anwendung) ausgelegt sein, aber auch auf Objekte wie Spulen (insbesondere ihre 3D-Empfindlichkeitsreferenzpunkte), die Kopfstütze 112, den Scannertisch 104 usw.
-
Ein neuronales Netz, das ausgelegt ist, um die Mitte der Gelenke aus beliebigen Ansichtswinkeln zu erfassen, kann dies selbst dann tun, wenn die Bilder 202 blockierte Ansichten aufweisen. Ein 3D-Skelett könnte für eine Person ohne Verzerrung korrekt rekonstruiert werden, da alle Objektschlüsselpunkte 110, die einer Person aus allen Ansichten entsprechen, unverzerrt sind. Dies wäre mit einer Tiefenerfassungskamera nicht möglich, da das 3D-Skelett nur ein Oberflächenskelett wäre und an Teilen des Körpers verzerrt ist, die nicht abgebildet (d. h. verdeckt) sind. Die Tiefenkameramesswerte an Objektgrenzen neigen üblicherweise auch zu größeren Fehlern oder Teilvolumenartefakten.
-
Die auf neuronalen Netzen basierende Erfassung von Objektschlüsselpunkten 110 in 3D weist im Vergleich zu dem RGB-Tiefenansatz wesentliche Vorteile auf, der nur Oberflächenkoordinaten der obersten exponierten Oberfläche liefern kann. Diese Oberfläche stellt möglicherweise keine zuverlässige Beziehung zu dem tatsächlichen gewünschten Zielschlüsselpunkt bereit. Zum Beispiel kann der Objektschlüsselpunkt 110 durch ein Objekt (Kissen, Decke, Spule, andere Körperteile (Hand über Hüften) oder beliebige Kombinationen aller davon) abgedeckt sein. In einem solchen Fall kann die tatsächliche erforderliche Position des 3D-Objektschlüsselpunkts 110 nicht leicht wiederhergestellt werden. Neuronale Netze stellen eine Lösung für dieses Problem bereit, da sie aufgrund der üblichen Komplexität und Tiefe der neuronalen Netzmodelle Hindernisse sehr gut verarbeiten können.
-
Außerdem kann bei Objekten bekannter Größe, die durch ein neuronales Netz erfasst werden, die proj izierte Größe auch verwendet werden, um den Abstand zwischen dem Kamerasystem 102 und den Objekten zu schätzen. Dies kann zum Beispiel bei Objekten wie Spulen, Matratzenelementen, Trägervorrichtungen, Personenfixierungsvorrichtungen und Teilen des Tischs 104 möglich sein. Dies wäre für Objektschlüsselpunkte 110 bei der Person nicht möglich, könnte aber zusätzliche Unterstützungsinformationen ergeben.
-
Eine mögliche verwendete neuronale Netzarchitektur ist die U-Net Architektur. Die U-Net Architektur stammt aus dem vollständig faltenden Netz. U-Net-Netze ergänzen ein übliches verengendes Netz durch aufeinanderfolgende Schichten, wobei Pooling-Vorgänge durch Upsampling-Operatoren ersetzt werden. Die Upsampling-Schichten erhöhen die Auflösung der Ausgabe. Eine folgende faltende Schicht könnte dann lernen, eine präzise Ausgabe basierend auf diesen Informationen zusammenzusetzen. Andere neuronale Netzarchitekturen könnten jedoch auch verwendet werden, einschließlich kundenspezifischer Architekturen zur Erfassung bestimmter Objektschlüsselpunkte 110.
-
Das neuronale Netz könnte mit Bildern von Personen in einem medizinischen Scanner und den entsprechenden Scannervariablen trainiert werden. Die zum Training verwendeten Bilder weisen eine zweckgebundene Ausgewogenheit für die medizinische Bildgebung auf. Zum Beispiel würden die Bilder ein Gleichgewicht aus Bauchlage-, Rückenlage- und Dekubitusstellungen und Armpositionen bilden. Zusätzlich können die Bilder von Personen ein Gleichgewicht aus Alter, BMI, Geschlecht, ethnische Verteilung usw. bilden. Zusätzlich kann das neuronale Netz mit Bildern trainiert werden, die verschiedene Objekte (Kopfstütze 112s, Spulen, Decken usw.) einschließen.
-
Sobald die 3D-Objektschlüsselpunkte 110 erhalten werden, kann eine Bildgebungsebene aus den Objektschlüsselpunkten 110 und einem erforderlichen Bildgebungsbereich für die Person aufgebaut werden. Alternativ könnten die 3D - Objektschlüsselpunkte 110 durch einen Bediener (oder einen separaten Algorithmus) verwendet werden, um die Bildgebungsebene zu aufzubauen.
-
Somit können die erfassten 3D-Positionen der Objektschlüsselpunkte 110 zur Vorbereitung einer medizinischen Untersuchung unter Verwendung eines medizinischen Scanners verwendet werden. Das Koordinatensystem des Kamerasystems 102 kann in dem medizinischen Scannerkoordinatensystem (Patientenkoordinatensystem) unter Verwendung einer Kalibrierungsprozedur während der Systeminstallation registriert werden. Die erfassten 3D-Objektschlüsselpunkte 110 werden verwendet, um die Position von Zieluntersuchungsanatomien zu schätzen. Zum Beispiel definieren Schulter- und Hüftschlüsselpunkte den Rumpf, und aus diesem kann die Lendenwirbelsäulenposition vorhergesagt werden. Die Zielanatomiekoordinaten (z. B. Lendenwirbelsäulenknochen L4, L5) können verwendet werden, um automatisch eine Lasermarke und die Untersuchungsposition einzustellen. Aus der Größe des Körperbereichs (z. B. des Rumpfs) können andere relevante Scanparameter wie Scanvolumen/-bereich, Auflösung, Geisterbilder oder Fettunterdrückungs- und Bewegungskorrekturtechniken auf die einzelne Person zugeschnitten werden. Alle diese Voreinstellungen führen zu einer verbesserten Planung und Ausführung des Scans und führen zu einer gleichmäßigeren Bildqualität.
-
Zusätzlich ermöglicht die relative Position aller erfassten Objektschlüsselpunkte 110 die Bestimmung der Gesamtposition und -ausrichtung der Person (z. B. Rückenlage mit dem Kopf zuerst oder Dekubitus links mit den Füßen zuerst usw.). Dies reduziert die Möglichkeit, die falsche Gesamtposition und -ausrichtung manuell einzugeben (aktuelle Praxis) und reduziert die Wahrscheinlichkeit von falschen Messwerten während der Untersuchung.
-
Die Objektschlüsselpunkte 110 und Stellungen können auch verwendet werden, um sicherheitsrelevante Merkmale zu berechnen. Zum Beispiel wird die Position bestimmter Schlüsselpunkte (z. B. Hände) berechnet, um sicherzustellen, dass sie keine Körperschleifen berühren oder bilden, die ein Sicherheitsproblem darstellen. In ähnlicher Weise wird der Abstand aller erfassten Objektschlüsselpunkte 110 zu der Spule oder den Kabeln des medizinischen Scanners berechnet, um potenziell falsche Anordnungen der Person zu erfassen, die zu einer unerwünschten Erhöhung des Risikos von HF - Verbrennungen führen können. Dies könnte die Zeitfenster zur Untersuchung und Vorbereitung verkürzen und die Wahrscheinlichkeit eines Bedienerfehlers verringern.
-
Wie vorstehend erörtert nutzt das System den Prozessor, um die Datenverarbeitung durchzuführen. Der Prozessor kann auf zahlreiche Arten implementiert werden, mit Software und/oder Hardware, um die verschiedenen erforderlichen Funktionen auszuführen. Der Prozessor üblicherweise einen oder mehrere Mikroprozessoren, die unter Verwendung von Software (z. B. Mikrocode) zum Durchführen der erforderlichen Funktionen programmiert werden können. Der Prozessor kann als Kombination von zweckgebundener Hardware, um einige Funktionen durchzuführen, und einem oder mehreren programmierten Mikroprozessoren und zugehöriger Schaltlogik implementiert sein, um andere Funktionen durchzuführen.
-
Beispiele von Schaltlogik, die in verschiedenen Ausführungsformen der vorliegenden Offenbarung eingesetzt werden können, schließen herkömmliche Mikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) und vor Ort programmierbare Gatteranordnungen (FPGAs) ein, ohne darauf beschränkt zu sein.
-
In verschiedenen Implementierungen kann der Prozessor einem oder mehreren Speicherungsmedien wie z. B. flüchtigem und nichtflüchtigem Computerspeicher wie z. B. RAM, PROM, EPROM und EEPROM zugeordnet sein. Das Speicherungsmedium kann mit einem oder mehreren Programmen codiert sein, die die erforderlichen Funktionen durchführen, wenn sie auf einem/einer oder mehreren Prozessoren und/oder Steuereinheiten ausgeführt werden. Verschiedene Speicherungsmedien können innerhalb eines Prozessors oder einer Steuereinheit fixiert sein oder können transportierbar sein, sodass das eine oder die mehreren darauf gespeicherten Programme in einen Prozessor geladen werden können.
-
Variationen der offenbarten Ausführungsformen können durch Fachleute, die die beanspruchte Erfindung in die Praxis umsetzen, aus einem Studium der Zeichnungen, der Offenbarung und der beigefügten Ansprüche verstanden und bewirkt werden. In den Ansprüchen schließt das Wort „umfassen“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel „ein“, „eine“ oder „eines“ schließt eine Vielzahl nicht aus.
-
Ein einzelner Prozessor oder eine andere Einheit kann die Funktionen mehrerer in den Ansprüchen angegebener Elemente erfüllen. Ein Computerprogramm kann auf einem geeigneten Medium, wie einem optischen Speicherungsmedium oder einem Festkörpermedium, das zusammen mit oder als Teil anderer Hardware geliefert wird, gespeichert/verteilt werden, kann jedoch auch in anderen Formen verbreitet werden, wie etwa über das Internet oder andere drahtgebundene oder drahtlose Telekommunikationssysteme.
-
Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander unterschiedlichen abhängigen Ansprüchen angegeben sind, weist nicht darauf hin, dass eine Kombination dieser Maßnahmen nicht vorteilhaft verwendet werden kann.
-
Wenn der Begriff „angepasst, um zu“ in den Ansprüchen oder der Beschreibung verwendet wird, wird darauf hingewiesen, dass der Begriff „angepasst, um zu“ äquivalent zum Begriff „konfiguriert, um zu“ sein soll.
-
Jegliche Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen des Schutzumfangs auszulegen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
