DE112019004302T5

DE112019004302T5 - Bildverarbeitungssystem und -verfahren

Info

Publication number: DE112019004302T5
Application number: DE112019004302.1T
Authority: DE
Inventors: Jörg Sabczynski; Manfred Mueller; Rafael Wiemker
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-08-30
Filing date: 2019-08-22
Publication date: 2021-05-27
Also published as: US20210319616A1; JP2021536279A; CN112639887A; EP3618005A1; CN112639887B; WO2020043585A1; JP7407799B2; US11694386B2

Abstract

System zur Bildverarbeitung (IPS), insbesondere zur Lungenbildgebung. Das System (IPS) umfasst eine Schnittstelle (IN) zum Empfangen mindestens eines Teils eines 3D-Bildvolumens (VL), das mittels einer Bildgebungsvorrichtung (IA1) von einer Lunge (LG) eines Subjekts (PAT) erfasst wird, indem das Subjekt (PAT) einem ersten Abfragesignal ausgesetzt wird. Ein Schichtdefinierer (LD) des Systems (IPS) ist konfiguriert, um in dem 3D-Bildvolumen ein Schichtobjekt (LO) zu definieren, das eine Darstellung einer Oberfläche (S) der Lunge (LG) einschließt. Ein Renderer (REN) des Systems (IPS) ist dazu konfiguriert, zumindest einen Teil des Schichtobjekts (LO) in 3D in einer Renderingansicht (Vp) zur Visualisierung auf einer Anzeigeeinrichtung (DD) zu rendern.

Description

GEBIET DER ERFINDUNG
Die Erfindung bezieht sich auf ein Bildverarbeitungssystem, ein Bildverarbeitungsverfahren, ein computerlesbares Medium und ein Computerprogrammelement.
HINTERGRUND DER ERFINDUNG
Die Lungenchirurgie wird immer minimalinvasiver. Für unterschiedliche Eingriffsarten ist eine offene Thorakotomie nicht mehr erforderlich. Dadurch werden Patientenbeschwerden stark reduziert, da die offene Thorakotomie erhebliche Einschnitte mit sich brachte. Stattdessen wird bei „Videoassistierter Thorakoskopie“ (VATS), einer Art minimalinvasiver Chirurgie, ein Endoskop durch einen kleinen Einschnitt in die Thoraxhöhle eingeführt. Der Chirurg erhält dann Videobilder, die von einem Endoskop zu einem Monitor übertragen werden, während er mit Instrumenten arbeitet, die durch zusätzliche kleine Einschnitte eingeführt werden können.
VATS kann für onkologische Verfahren eingesetzt werden, z. B. zur Entfernung eines malignen Neoplasmas (Lobektomie, Segmentektomie, Keilresektion usw.), kann aber auch aus anderen Gründen verwendet werden, z. B. für die Volumenreduktionschirurgie zur Behandlung schwerer COPD oder dergleichen.
Ein Problem bei der Lungenchirurgie, sowohl bei offener Thorakotomie als auch bei der minimalinvasiven VATS, ist die Lungendeflation. Üblicherweise füllen die Lungen die Thoraxhöhle aus. Sie können sich nicht selbst aufblähen und dehnen sich nur aus, wenn sich das Volumen der Thoraxhöhle vergrößert. Unter Normalbedingungen ist der Druck in der Lunge stets höher als der Druck im Pleuraraum zwischen Thorax und Lunge. Beim Öffnen des Thorax durch Anbringen der genannten Einschnitte wird der Druck innerhalb der Thoraxhöhle gleich dem Druck innerhalb der Atemwege und das elastische Lungengewebe kollabiert. Während der Operation ist die Lunge daher viel kleiner als vor der Operation.
In vielen anderen chirurgischen Disziplinen (Neurochirurgie, Orthopädie, Wirbelsäulenchirurgie, HNO-Chirurgie und viele mehr) sowie in der interventionellen Radiologie wurden technische Verfahren entwickelt, um den Chirurgen oder Interventionellen Radiologen zu einem Ziel zu führen. Diese Navigationsverfahren können entweder auf präoperativer Bildgebung (z. B. CT, MRT, 3D-Röntgenstrahlen, PET usw.) oder intraoperativer Bildgebung (Ultraschall, Röntgenstrahlen usw.) beruhen. Bei diesen Verfahren ändert sich bei Verwendung präoperativer Bildgebung die Anatomie von Interesse zwischen Bildgebung und Eingriff im Allgemeinen nicht so deutlich, dass die Genauigkeit der Navigation beeinträchtigt würde.
Durch Deflation erfährt die Lunge zwischen präoperativer Bildgebung und während des Eingriffs eine großflächige Verformung. Dies erschwert die Navigation beispielsweise auf Basis der präoperativen CT.
Mindestens in der offenen Chirurgie können Chirurgen die Lunge abtasten, um eine Läsion zu finden. Bei VATS ist dies nicht mehr möglich.
KURZDARSTELLUNG DER ERFINDUNG
Es kann daher ein Bedarf an einem alternativen System oder Verfahren zur Unterstützung von Lungenbildgebung oder Lungeneingriffen bestehen.
Die Aufgabe der vorliegenden Erfindung wird durch den Gegenstand der unabhängigen Ansprüche gelöst, wo weitere Ausführungsformen in den abhängigen Ansprüchen enthalten sind. Es sei darauf hingewiesen, dass die im Folgenden beschriebenen Aspekte der Erfindung gleichermaßen für die Bildverarbeitungsmethode, das Bildverarbeitungssystem, das Computerprogrammelement und das computerlesbare Medium gelten.
Gemäß einem ersten Gesichtspunkt der Erfindung wird ein System zur Bildverarbeitung bereitgestellt, umfassend:

eine Eingabeschnittstelle, die konfiguriert ist, um i) mindestens einen Teil eines 3D-Bildvolumens basierend auf Bilddaten einer Lunge eines Subjekts, die durch eine erste Bildgebungsmodalität erfasst werden, und ii) ein zweites Bild der Lunge,
das durch eine zweite Bildgebungsmodalität während eines Lungeneingriffs erfasst wird, zu empfangen;
einen Schichtdefinierer, der konfiguriert ist, um in dem 3D-Bildvolumen ein Schichtobjekt zu definieren, das ein Muster einschließt, das ein Lungengefäß und/oder ein Septum als eine Darstellung einer Oberfläche der Lunge repräsentiert;
einen Renderer, der konfiguriert ist, um mindestens einen Teil des Schichtobjekts in 3D in einer Renderingansicht zur Visualisierung auf einer Anzeigevorrichtung zu rendern, und
einen Abgleicher, der konfiguriert ist, um den Renderer anzuweisen, die Ansicht des Schichtobjekts zu rendern, um das zweite Bild basierend auf dem repräsentativen Muster abzugleichen.

Gemäß einer Ausführungsform lässt sich das Rendern auf mindestens einen Teil des Schichtobjekts beschränken oder wobei der Renderer konfiguriert ist, das Schichtobjekt mit einem höheren Beitrag als Nicht-Schichtelemente des Volumens zu rendern.
Es hat sich gezeigt, dass bestimmte Muster auf der Lungenoberfläche, wie Gefäße oder Strukturen, die von Septen unterhalb der äußeren Oberfläche stammen, für eine bestimmte räumliche Sicht auf die Lunge charakteristisch sind. Solche Muster werden im Folgenden auch als „repräsentative Muster“ bezeichnet. Auch erweist sich das Muster als weitgehend topologisch invariant unter Deformation durch Lungendeflation. Durch Einengen oder zumindest Hervorheben des Schichtobjekts kann der Kontrast besser konzentriert werden, anstatt es zu dehnen, um Gewebe zu bedecken, das zu tief liegt, um einen signifikanten visuellen Beitrag zu leisten. Außerdem können unter Verwendung der Eindringtiefe die Strukturen, die zum optischen Erscheinungsbild der Lunge beitragen, weiter genutzt werden. Insgesamt wird eine zuverlässigere bildbasierte Navigation erreicht, die insbesondere für Lungeneingriffe von Nutzen ist. Bilder einer Lunge im aufgeblasenen und entleerten Zustand können zuverlässig und robust abgeglichen werden, wodurch die Zuverlässigkeit einer auf einem Lungenbild basierenden Navigation gefördert wird.
Gemäß einer Ausführungsform ist der Schichtdefinierer konfiguriert, um eine Dicke der Schicht basierend auf einer Eindringtiefe eines Abfragesignals der zweiten Bildgebungsmodalität zu definieren. Dieses zweite Abfragesignal wird dazu verwendet, durch Beaufschlagung mit dem zweiten Abfragesignal ein zweites Bild der Lunge oder einer anderen ähnlichen Lunge zu erfassen.
Die Beaufschlagung mit dem zweiten Abfragesignal kann von außen erfolgen, wobei sich das zweite Abfragesignal durch eine Öffnung in der Haut des Patienten zur Lunge hin ausbreitet. Alternativ kann die Beaufschlagung von innerhalb des Patienten erfolgen, nachdem eine Sonde der Bildgebungsvorrichtung durch eine Öffnung in den Patienten eingeführt und in geeigneter Weise in Bezug auf die Lunge positioniert worden ist.
Vorzugsweise sind die erste und die zweite Bildgebungsmodalität oder -vorrichtung beide betreibbar, um Bilder einer Lunge desselben Patienten zu erfassen, jedoch wurde in manchen alternativen Ausführungsformen die erste Bildgebungsmodalität oder -vorrichtung verwendet, um das präoperative Bild von der Lunge eines Patienten zu erfassen, während das intraoperative zweite Bild von der zweiten Bildgebungsmodalität oder -vorrichtung von einer Lunge eines anderen Patienten erfasst wird.
Gemäß einer Ausführungsform ist der Schichtdefinierer konfiguriert, um das Schichtobjekt basierend auf mindestens einem Lungengewebesegmentierungs-Teilvolumen zu definieren.
Gemäß einer Ausführungsform ist der Schichtdefinierer konfiguriert, um das Schichtobjekt basierend auf einer Tangentenfläche zu einem vordefinierten Punkt eines Lungensegmentierungs-Teilvolumens und einer Verlängerung der Tangentenfläche entlang einer lokalen Normalenrichtung der Tangentenfläche zu definieren.
Das Schichtobjekt schließt ein Muster ein, das ein Lungengefäß und/oder ein Septum repräsentiert. Dann ist gemäß einer Ausführungsform der Renderer konfiguriert, um das Muster mit einer Farb- oder Grauwertkodierung zu rendern, die sich von seiner Umgebung unterscheidet, in die das Muster zumindest teilweise eingebettet ist.
Gemäß einer Ausführungsform ist der Renderer konfiguriert, um eine Transparenz des gerenderten Schichtobjekts einzustellen, um, bei einer gegebenen Rendering-Position, einen gegenüberliegenden distalen Abschnitt des Schichtobjekts zu verdecken, oder wobei das Schichtobjekt beschnitten wird, um auszuschließen, dass der distale Abschnitt gerendert wird. Die Rendering-Position beschreibt insbesondere die Position einer konzeptionellen Kamera, von der aus das Rendern erfolgt, indem geometrische Strahlen durch das Volumen und auf eine Bildebene geworfen werden, auf die die gerenderte Ansicht als (2D-) Bild projiziert wird.
Gemäß einer Ausführungsform schließt das System eine Anzeigevorrichtungsschnittstelle ein, die konfiguriert ist, um das Anzeigen einer Visualisierung der gerenderten Ansicht und des zweiten Bildes auf der Anzeigevorrichtung DD oder auf zwei Anzeigevorrichtungen zu bewirken.
Gemäß einer Ausführungsform ist die zweite Bildgebungsvorrichtung in der Lage, dem zweiten Bild basierend auf mindestens einem vordefinierten Material, das in der Lunge vorhanden ist, Kontrast zu verleihen, wobei der Renderer konfiguriert ist, einen Abschnitt in der Ansicht, der dem Material entspricht, mit Farb- oder Grauwerten zu kodieren.
Gemäß einer Ausführungsform schließt das System mindestens eine der ersten oder zweiten Bildgebungsmodalität oder -vorrichtung und/oder die mindestens eine Anzeigevorrichtung ein.
Gemäß einem zweiten Gesichtspunkt wird ein Verfahren zur Bildverarbeitung bereitgestellt, umfassend die Schritte:

Empfangen i) mindestens eines Teils eines 3D-Bildvolumens einer Lunge eines Subjekts basierend auf Bilddaten, die durch eine erste Bildgebungsmodalität erfasst werden, und ii) eines zweiten Bildes der Lunge, das durch eine zweite Bildgebungsmodalität erfasst wird;
Definieren, in dem 3D-Bildvolumen, eines Schichtobjekts, das ein Muster einschließt, das ein Lungengefäß und/oder ein Septum als eine Darstellung einer Oberfläche der Lunge repräsentiert;
Rendern mindestens eines Teils des Schichtobjekts in 3D in einer Renderingansicht zur Visualisierung auf einer Anzeigevorrichtung, um das zweite Bild basierend auf dem repräsentativen Muster abzugleichen.

Gemäß einer Ausführungsform lässt sich das Rendern auf mindestens einen Teil des Schichtobjekts beschränken oder das Rendern des Schichtobjekts erfolgt mit einem höheren Beitrag als das von Nicht-Schichtelementen des Volumens.
Gemäß einem weiteren Gesichtspunkt wird ein Computerprogrammelement bereitgestellt, das, wenn es von mindestens einer Verarbeitungseinheit ausgeführt wird, eingerichtet ist zu bewirken, dass die Verarbeitungseinheit das Verfahren nach einer der zuvor erwähnten Ausführungsformen ausführt.
Gemäß einem vierten Gesichtspunkt wird ein computerlesbares Medium mit dem darauf gespeicherten Programmelement bereitgestellt.
Das vorgeschlagene System unterstützt Navigation und Orientierung bei Lungeneingriffen. Trotz der großen Deformation der Lunge vor und während der Operation erlaubt das vorgeschlagene System eine zuverlässige Zuordnung präoperativer Bildinformationen, z. B. der Lage und des Ausmaßes einer Läsion, zur intraoperativen Situation.
Das vorgeschlagene System und Verfahren kann für verschiedene Arten von Lungeneingriffen verwendet werden, wie offene Chirurgie durch Thorakotomie sowie Sternotomie oder minimalinvasive Chirurgie (wie VATS), mit besonderem Nutzen für Lungentumor-Bildgebung oder Lungeneingriffe.
Definitionen
Im Folgenden wird zwischen physischen Objekten und deren Darstellung in den jeweiligen Bildern unterschieden. Beispielsweise kann die Lunge als physische Einheit durch eine Voxel-Teilmenge, z. B. ein Teilvolumen, im Gesamtvolumen dargestellt werden. Das Teilvolumen kann die Lunge darstellen. Solche repräsentativen Voxel-Teilmengen oder Teilvolumina können hierin als „Objekte“ bezeichnet werden, beispielsweise ist ein „Lungenobjekt“ eine Bilddarstellung der Lunge in Bezug auf die Voxel-Teilmenge oder das Teilvolumen. Ein Gefäßobjekt ist somit eine Darstellung des Gefäßes im Volumen V usw. Eine ähnliche Konvention kann für Pixelobjekte in 2D-Bildern verwendet werden.
„Abfragesignale“ sind diejenigen, die von der ersten und der zweiten Bildgebungsmodalität oder -vorrichtung ausgegeben werden, um Wissen über eine bestimmte Anatomie zu gewinnen. Das Signal wird von einem geeigneten Sender oder einer geeigneten Quelle ausgegeben, um dann mit Gewebe zu interagieren. Nach oder während dieser Wechselwirkung wird das Signal von einer Detektorvorrichtung erfasst und zu Bildern verarbeitet. Die Bilder können Details über die Anatomie offenbaren. Bei den Abfragesignalen kann es sich um Strahlung wie elektromagnetische handeln, es sind aber auch andere Signalarten wie Ultraschall denkbar. Beispielhafte strahlungsbasierte Abfragesignale für Bildgebungszwecke schließen Röntgen-, Hochfrequenzimpulse, Gammastrahlung, sichtbares oder infrarotes Licht oder andere ein.
„3D“, „2D“ sind Abkürzungen für räumliche Dreidimensionalität bzw. Zweidimensionalität.
Figurenliste
Beispielhafte Ausführungsformen der Erfindung werden nun unter Bezugnahme auf die folgenden Zeichnungen beschrieben, in denen:

1 ein schematisches Blockdiagramm einer Bildgebungsanordnung zeigt;
2 eine Sagittalansicht von Teilen eines menschlichen oder Säugetier-Atemsystems einschließlich der Lungen zeigt;
3 einen Renderingvorgang eines Teils eines Bildvolumens veranschaulicht;
4 ein Ablaufdiagramm der Bildverarbeitung zeigt;
5 Zwischen- und Endergebnisse des Bildverarbeitungsverfahrens zeigt;
6 ein beispielhaftes Rendering einer menschlichen Lunge zeigt; und
7 spektrale Absorptionskurven für verschiedene Materialien veranschaulicht.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Unter Bezugnahme auf 1 ist ein schematisches Blockdiagramm einer Bildgebungsanordnung IA (engl. Imaging Arrangement) gezeigt, wie sie hierin in Ausführungsformen vorgesehen ist.
Die Bildgebungsanordnung IA ist insbesondere zur bildbasierten Unterstützung von Eingriffen in die Lunge LG konfiguriert. Zu diesem Zweck schließt die Bildgebungsanordnung IA zwei Bildgebungsmodalitäten IA1 und IA2 ein, die vorzugsweise unterschiedlich sind.
Eine der Bildgebungsmodalitäten IA1, hierin auch als präoperative Bildgebungsmodalität IA1 bezeichnet, ist konfiguriert, um einen vorzugsweise volumetrischen VL Bildsatz eines menschlichen oder tierischen Patienten PAT zu erfassen. Die volumetrischen VL Bilder schließen insbesondere eine Darstellung der Region von Interesse ROI ein, die insbesondere die Lunge LG einschließt. Wenn hierin auf die Lunge LG Bezug genommen wird, sollte dies als eine Bezugnahme entweder auf die linke Lunge, die rechte Lunge oder auf beide ausgelegt werden. Kontrastmittel kann dem Patienten vor oder während der Bildgebung mit dem präoperativen Bildgeber IA1 verabreicht werden.
Die zweite Bildgebungsmodalität IA2, die als intraoperative Bildgebungsmodalität IA2 bezeichnet wird, ist konfiguriert, um ein Bild IM2 während des Lungeneingriffs LG zu erfassen.
Im Allgemeinen ist die Bildgebungsanordnung konfiguriert, um VATS oder ähnliche Lungeneingriffe zu unterstützen. Insbesondere unterstützt die Bildgebungsanordnung IA einen Chirurgen (d. h. die Person, die den Eingriff durchführt), die Lunge während des Eingriffs zu navigieren, um insbesondere einen bestimmten Lungenabschnitt wie eine Läsion oder einen anderen Abschnitt zu finden. Die Anordnung IA kann diese Navigation insbesondere basierend auf den präoperativen Bildern VL und/oder intraoperativen Bildern, die während des Eingriffs erhalten werden, unterstützen.
In einer Ausführungsform ist der präoperative Bildgeber IA1 für eine Transmissionsbildgebung mit ionisierender Strahlung konfiguriert. Eine besondere Ausführungsform hierfür ist die Computertomographie (CT), einschließlich Kegelstrahl-CT, Fächerstrahl-CT oder jede andere Variante. Anstelle der Transmissionsbildgebung ist in alternativen Ausführungsformen auch eine Emissionsbildgebung, wie PET (Positronen-Emissions-Tomographie) oder der SPECT (Single-Photon-Emissions-Computertomographie) vorgesehen. Es sind jedoch auch Bildgebungsmodalitäten vorgesehen, die nicht ionisierende Strahlung verwenden, wie MRT (Magnetresonanztomographie) oder andere.
Bei der CT, die hierin hauptsächlich in Ausführungsformen vorgesehen ist, werden die volumetrischen Bilddaten VL aus Bilddaten, insbesondere Projektionsbildern, die vom Patienten PAT erfasst werden, rekonstruiert. Die Projektionsbilder werden rotatorisch erfasst, indem eine Röntgenquelle und/oder ein Röntgenstrahlendetektor um zumindest die Region von Interesse, hier die Lunge LG, rotieren. Während der Rotation werden Projektionsbilder der ROI aus mehreren Richtungen erfasst. Dazu folgt die Röntgenquelle einem nicht notwendigerweise vollständigen Bogen um den Bereich des Oberkörpers des Patienten, in dem sich die LG befindet. Dazu reichen üblicherweise Bögen aus, die 180° oder weniger überspannen. Mathematische Rekonstruktionsalgorithmen wie gefilterte Rückprojektionen oder andere werden dann verwendet, um die Projektionsbilder zu Schichtbildern zu verarbeiten, die sich in der Untersuchungsregion befinden. Die Untersuchungsregion ist der Raumabschnitt, in dem sich die Region von Interesse während der Bildgebung befindet. Aus einer solchen Vielzahl von Schichtbildern in verschiedenen Ebenen können durch Vorschub des Patienten bzw. der Röntgenquelle quer entlang einer Längsachse, der Abbildungsachse Z, zur Aufnahme verschiedener Sätze von Projektionsbildern, Bilder rekonstruiert werden, um so die volumetrischen Bilddaten VL zu bilden. Die Längsachse des Patienten fluchtet im Allgemeinen mit dieser Abbildungsachse Z. Die volumetrischen Bilddaten VL, hierin auch Bildvolumen genannt, schließen eine 3D-Bilddarstellung der Lunge LG ein.
Bildwerte des Bildgebungsvolumens VL sind in Voxeln organisiert. Jedes Voxel ist durch einen Bildwert und eine 3D-Position im Raum definiert, die einem Punkt in der Untersuchungsregion und damit einem Punkt innerhalb des Patienten PAT entspricht. Jeder Bildwert kodiert die Art der Wechselwirkung mit dem in der Bildgebungsmodalität verwendeten Abfragesignal. Für CT oder dergleichen ist das Abfragesignal ein Röntgensignal, das durch den Patienten hindurchgeht und mit Materie darin wechselwirkt und dann von dem Detektor in den Projektionsbildern detektiert und dann wie beschrieben zu Voxelwerten verarbeitet wird. In diesem Fall kann der Bildwert bei einem gegebenen Voxel mit einem Abschwächungsbetrag in Beziehung stehen, den das Röntgen-Abfragesignal erfährt. In anderen Bildgebungsmodalitäten sind die Abfragesignale unterschiedlich und die Bildwerte stellen andere Wechselwirkungsprinzipien dar. Beispielsweise werden bei der MRT die Abfragesignale aus Hochfrequenzimpulsen gebildet, bei der Emissionsbildgebung werden die Abfragesignale aus Gammastrahlung gebildet, die von Zerfallsereignissen von Tracersubstanzen im Körper des Patienten ausgeht.
Um nun kurz auf die intraoperative Bildgebungsmodalität IA2 einzugehen, ist diese insbesondere als endoskopische Bildgebungseinheit vorgesehen. Diese weist eine in den Patienten einführbare Sonde PR (eng. probe) auf. Die endoskopische Bildgebungseinheit IA2 kann ferner eine Bedieneinheit OU (engl. Operating Unit) umfassen, die kommunikativ in einer drahtgebundenen oder drahtlosen Verbindung mit der Sonde PR gekoppelt ist. Die Sonde PR wird durch einen, vorzugsweise kleinen, Schnitt in der Brust des Patienten in den Patienten eingeführt, um in die Lunge LG zu gelangen. Genauer gesagt wird die Sonde PR in die Thoraxhöhle vorgeschoben, wo sich die Lunge befindet (mehr dazu weiter unten in 2). Die endoskopische Bildgebungseinheit kann dann betrieben werden, um Bilder des Inneren des Patienten, insbesondere der Lunge LG, zu erfassen. Vorzugsweise wird nicht ionisierende Strahlung wie sichtbares Licht, Infrarotlicht (IR) oder Nahinfrarotlicht (NIR) oder andere verwendet. Als Abfragesignal für die zweite Bildgebungsmodalität IA2 wird beispielsweise ein Lichtsignal, wie sichtbares Licht, verwendet. Das Lichtsignal wird von der Sonde ausgesandt und wechselwirkt mit Lungengewebe. Das Licht wird dann zumindest teilweise zurückreflektiert und von einer geeigneten Lichtdetektorvorrichtung in der Sonde an der Sonde registriert. Ein Teil des Lichts kann von dem Gewebe absorbiert werden. Die Lichtdetektorvorrichtung kann auch getrennt und entfernt von der Sonde PR angeordnet sein.
Die an der Detektorvorrichtung detektierten reflektierten Lichtsignale können dann an eine Verarbeitungseinheit in der Bedieneinheit OU weitergeleitet werden, um zu Bildern verarbeitet zu werden, die vorzugsweise in Echtzeit auf einer Anzeigeeinrichtung DD (engl. Display Device) angezeigt werden können. Auf diese Weise wird ein Strom von Frames erzeugt, die mit einer geeigneten Abtastfrequenz erfasst werden. Die intraoperative Bildgebung ist im Allgemeinen nicht 3D im Gegensatz zu der volumetrischen Bildgebung, die durch die CT- oder präoperative Bildgebungsvorrichtung erhalten wird, und ist somit in einem zweidimensionalen Array von Pixelwerten angeordnet. Jeder Pixelwert ist wiederum an einer entsprechenden Stelle in einer Bildebene (adressierbar durch Zeilen und Spalten x, y) angeordnet, während der Bildwert die Art der Wechselwirkung mit dem Abfragesignal wie dem sichtbaren Licht, IR, NIR etc. beschreibt. Insbesondere wird die Menge an rückreflektiertem Licht erfasst und als jeweiliger Bildwert quantifiziert.
Es versteht sich, dass das Abfragelicht je nach Eigenschaften (z. B. Frequenz) des vom Endoskop IA2 verwendeten Lichts eine bestimmte Eindringtiefe d aufweist, um in das Lungengewebe einzudringen. Das detektierte Licht kann somit auch Strukturinformationen bereitstellen, die d Einheiten tief unterhalb einer äußersten Oberfläche S der Lunge LG liegen. Es versteht sich, dass anstelle eines endoskopischen Geräts die zweite Bildgebungsmodalität IA2 als Ultraschall-Bildgeber (US) oder als eine andere Bildgebungsmodalität angeordnet sein kann.
Die Bildgebungsanordnung IA umfasst ein Bildverarbeitungssystem IPS (engl. Image Processing System), das in Hardware oder Software implementiert sein kann. Beispielsweise kann das Bildverarbeitungssystem auf einem oder mehreren Prozessoren PU, wie Allzweckcomputern, Servern oder Mikrocontrollern, laufen. Der eine oder die mehreren Prozessoren PU können kommunikativ mit der intraoperativen IA2 und/oder präoperativen Bildgebungsmodalität IA1 gekoppelt sein. Das Bildverarbeitungssystem IPS ist konfiguriert, um sowohl die präoperativen Bilder VL als auch die intraoperativen Bilder IM2 zu verarbeiten. Allgemein und wie hierin vorgeschlagen, entspricht die intraoperative Bildgebung IM2, die durch das Endoskop IA2 zu einem bestimmten Zeitpunkt erfasst wird, einer gegebenen Ansicht auf dem Lungengewebe LG. Diese Ansicht wird dann durch einen Abgleicher M (engl. matcher) mit einer entsprechenden Ansicht des Bildgebungsvolumens VL und damit der Lunge, wie durch das Volumen VL dargestellt, abgeglichen.
Die entsprechende Ansicht wird von einem Renderer REN berechnet. Insbesondere entspricht die vom Renderer REN gerenderte Ansicht im 3D-Raum der Ansicht, die vom intraoperativen Bildgeber IA2 bereitgestellt wird. Die so berechnete Ansicht VP ist ein Bild, das dann vorzugsweise zusammen mit den intraoperativen Bildern IM2 auf derselben Anzeigeeinheit DD in verschiedenen Feldern oder auf zwei oder mehr separaten, vorzugsweise im Operationssaal angeordneten Anzeigevorrichtungen DD dargestellt wird.
Bevor der Betrieb der Bildgebungsanordnung IA und insbesondere der Betrieb des Bildverarbeitungssystems IPS näher erläutert wird, soll zunächst auf die 2A, B Bezug genommen werden, die einige Gesichtspunkte der Lungenanatomie LG betreffen, die hierin genutzt werden. 2A ist eine Schnittansicht in Sagittalebene durch eine menschliche oder tierische Lunge LG.
Die Lunge LG umfasst die linke Lunge LL und die rechte Lunge RL. Die Lunge ist Teil des Atemsystems. Die Lunge ist maßgeblich am Gasaustausch beteiligt, bei dem das durch den Stoffwechsel erzeugte Kohlendioxid ausgestoßen wird, während das Blut mit Sauerstoff aufgefüllt wird, um dann an verschiedene Stellen im Körper geliefert zu werden.
Das Atemsystem schließt insbesondere eine Trachea TR ein, durch die Luft angesaugt wird. Die Trachea TR verzweigt sich in den rechten Primärbronchus RPB und den linken Primärbronchus LPB. Jeder der Primärbronchus-Zweige endet in einem feinen Netz von Luftsäcken oder Alveolen AL, wo der Gasaustausch stattfindet. Die menschliche Lunge LG ist durch Fissurlinien FL strukturiert. Die menschliche linke Lunge LL ist durch eine einzige Fissurlinie FL in zwei Lappen strukturiert, während die menschliche rechte Lunge RL durch zwei Fissurlinien FL in drei Lappen strukturiert ist. Die Lungen RL, LL sind in der Thoraxhöhle angeordnet. Die Thoraxhöhle ist der Raum, der durch das Brustfell, eine Membran, die den oberen Teil der Thoraxhöhle auskleidet, und das Zwerchfell im unteren Teil definiert ist. Normalerweise befinden sich die Lungen in einem aufgeblasenen Zustand, da sie durch die Luft innerhalb der Lungen relativ zum Umgebungsdruck in der Thoraxhöhle leicht mit Druck beaufschlagt werden.
Die Alveolen AL in der linken oder rechten Lunge, in die die jeweiligen Hauptzweige RPB, LPB münden, verleihen dem Lungengewebe die charakteristische schwammartige Textur. Jede Lunge RL, LL weist eine äußerste Fläche S auf. Diese äußerste Fläche S kann prinzipielle vom Chirurgen berührt werden, wenn eine offene Tracheotomie durchgeführt wird, die hierin ebenfalls in Ausführungsformen vorgesehen ist. Die Alveolen AL sind von einem feinen Netz von (Blut-) Gefäßen einschließlich Arterien und Venen umgeben. Die Arterien dienen dazu, sauerstoffreiches Blut von den Alveolen weg in das System zu anderen Organen zu leiten, während die Venen das sauerstoffarme und kohlendioxidreiche Blut den Alveolen zuführen, um den Gasaustausch zu bewirken. Die durch die Trachea TR angesaugte Luft gelangt in die von den Alveolen gebildeten kleinen Lufteinschlüssen. Der Gasaustausch erfolgt durch Diffusion durch die dünne Haut der Alveolen und in die Gefäße, insbesondere in die Kapillaren der Pulmonalarterien und Pulmonalvenen.
Die Strukturierung der Alveolen ist so, dass Cluster entstehen, die als zweite Lungenläppchen bezeichnet werden. Jedes dieser Läppchen besteht aus einer Vielzahl von Unterclustern von Alveolen, die als Azini bezeichnet werden. Jeder Azinus kann etwa 5-12 Alveolen umfassen. Ein schematischer Querschnitt eines solchen sekundären Lungenläppchens SPL ist in der eingefügten Nahdarstellung 2B vergrößert dargestellt. Jedes SPL wird von Lungenvenen PV und Lungenarterien PA versorgt. Die Alveolen in den einzelnen Azini sind terminale Äste der terminalen Bronchiolen TB. Die globale Form von SPL ist die eines unregelmäßigen Polyeders, der durch Wände aus Verbindungsgewebe begrenzt wird, die als interlobuläre Septen SP bezeichnet werden. Diese enthalten die Lungenvenen sowie lymphatische Komponenten. Die SPL bilden die größte Lungeneinheit, an der alle Atemwege am Gasaustausch teilnehmen. Die globale Größe eines SPL beträgt etwa 1-2,5 cm im Durchmesser.
Das Bindegewebe der Septen SP bildet zum Teil (nicht zwingend sechseckig) eine Wabenstruktur an der Außenfläche des Lungengewebes S. Dieses Netzwerk aus unregelmäßig geformten Vielecken ist optisch mit bloßem Auge sichtbar, wenn man die Lunge LG bei einem offenen Luftröhrenschnitt betrachtet oder wenn die Lunge aus dem Körper entfernt wird. Allerdings heben die Septen die Oberfläche S nicht wirklich an, sondern liegen tiefer darunter, sind aber dennoch sichtbar, um ihr die erwähnte (wabenförmige) Netzwerkstruktur aus unregelmäßig geformten Polygonen zu verleihen.
Das Netzwerk von Gefäßen, die die Alveolen umgeben, bildet ein kreuz und quer verlaufendes Muster, insbesondere diejenigen, die an der äußeren Oberfläche S der Lunge liegen. Einige der Gefäße, die zur Ausprägung dieses Musters beitragen, sind so angeordnet, dass sie die Außenfläche S leicht anheben, um ihr eine teilweise reliefartige Struktur zu verleihen.
Von den Erfindern wurde beobachtet, dass das von den Septen SPL oder von dem Gefäßnetzwerkmuster verliehene Muster, insbesondere beide Muster zusammen, für eine gegebene Ansicht charakteristisch sind. Eines oder beide dieser Muster können daher als visuelle Signatur für eine gegebene Ansicht auf die Lunge LG aus einer gegebenen räumlichen Richtung betrachtet werden. Die Muster können durch geeignete Bildstrukturen in den intraoperativen und präoperativen Bildern ausgedrückt werden. Es wird hierin vorgeschlagen, diese(s) Signaturmuster zu verwenden, um die entsprechende Ansicht V_p auf das Bildvolumen VL zu finden. Die Ansicht V_p auf das Volumen VL wird vom Renderer REN gefunden und gerendert. Die Ansicht V_p entspricht einem gegebenen optischen Bild IA2, das von der intraoperativen Bildgebungsmodalität IA2 geliefert wird. Die Ansicht V_p wird im Folgenden einfach als „Bild V_p“ bezeichnet, wobei p ein Rendering-Parameter ist, wie nachfolgend noch näher erläutert wird. Das Muster kann insbesondere durch oberflächliche Gefäße gebildet sein, d. h. solche, die sich ausreichend nahe an der Lungenaußenfläche S befinden, um die reliefartige Struktur darauf aufzuprägen.
Es hat sich gezeigt, dass die Muster nicht nur durch optische Bilder, wie sie das Endoskop liefert, sondern auch durch CT-Schichtbilder erfasst werden können, die bei einer geeignet dimensionierten Schichtdicke von etwa 100 µm aufgenommen werden. Insbesondere sind die Gefäße nahe der Lungenoberfläche S in hochauflösenden Bildern der Lunge deutlich erkennbar. Die interlobulären Septen selbst sind relativ dünn (ca. 100 µm Dicke) und damit im hochauflösenden CT schwerer direkt zu sehen. Bei der Kegelstrahl-CT wird die Auflösung verbessert und die Strukturen können besser definiert werden.
Insbesondere das beobachtete Muster von Gefäßen und/oder lobulären Septen eignet sich für Navigationszwecke im Bildstruktur-Abgleich, da sie sich unter der Deformation der Lunge als im Wesentlichen topologisch invariant erwiesen haben.
Genauer gesagt wird die Lunge während des Eingriffs wesentlich verformt, da sie während des Eingriffs entleert wird, insbesondere wenn der Einschnitt in der Brust angebracht wird, um den Durchgang der Sonde PR zu ermöglichen.
Eine Robustheit des vorgeschlagenen bildbasierten Abgleichs zwischen intraoperativen und präoperativen Bildern wird hierin verbessert, indem erkannt wird, dass das Abfragesignal der intraoperativen Bildmodalität eine bestimmte Eindringtiefe aufweist. In beispielhaften Ausführungsformen dringt das sichtbare IR- oder NIR-Licht bis zu einer bestimmten Tiefe d, die von der Frequenz des Lichts abhängt, in das Lungengewebe ein. Hierin wird vorgeschlagen, dass das Bildverarbeitungssystem IPS diese Eindringtiefe d bei der Darstellung der Sicht auf das mit der intraoperativen Abbildung abzugleichende Bildvolumen berücksichtigt.
Es hat sich gezeigt, dass ein solches auf ein dieser Eindringtiefe im Volumen VL entsprechendes Schichtobjekt LO beschränktes Rendering die Robustheit des Abgleichs erhöht und somit aus mindestens zwei Gründen eine bessere Navigation bietet: Erstens wird der Bildkontrast im Rendering auf einen Bereich konzentriert, auf den es ankommt, nämlich die Schicht der Lunge mit der Dicke der Eindringtiefe. Andernfalls kann der Bildkontrast unnötig auf Bildstrukturen verschwendet werden, die im vorzugsweise auf nicht ionisierender Strahlung basierenden intraoperativen Bildgeber IA2 ohnehin nicht sichtbar sind. Zweitens kann die Robustheit des Bildabgleichvorgangs erhöht werden, da durch die Erkennung der Gewebeeindringtiefe, die von der intraoperativen Bildgebungsmodalität gelieferten Bilder umfassender genutzt werden können, da Strukturen, die von der äußersten Schicht S entfernt sind, sich aber noch innerhalb der Schicht der Eindringtiefe im Abstand d von der äußeren Oberfläche S befinden, weiterhin zu den von der intraoperativen Bildgebungsmodalität gelieferten Bildern beitragen. Der Abgleich kann erweitert werden, um nicht nur Bildstrukturen zu berücksichtigen, die der Oberfläche entsprechen, sondern auch Strukturen, die Lungengewebe d Einheiten tief unter der Oberfläche S darstellen.
Ferner kann das Rendering-Verfahren beschleunigt werden, da weniger Voxel, nämlich die im Schichtobjekt LO (Details siehe 3), verarbeitet werden müssen und das Rendern früher beendet werden kann. Eine tiefere Verarbeitung von Voxeln im Volumen jenseits der Schicht L ist nicht erforderlich.
Mit fortgesetztem Bezug auf das Blockschaltbild von 1 enthält das Bildverarbeitungssystem IPS einen Schichtdefinierer LD, der, vorzugsweise durch Bildverarbeitung, ein Schichtobjekt LO im Gesamtvolumen VL definiert oder identifiziert. Das Schichtobjekt LO bzw. das Teilvolumen weist eine geometrische Struktur einer Schicht L bzw. „Schale“ der Dicke d auf. Topologisch und in grober Näherung kann das definierte Schichtobjekt LO mit der Dicke d als im 3D-Volumen VL eingebettetes Hohlellipsoid angesehen werden.
Das Schichtobjekt LO repräsentiert Lungengewebe LG, das insbesondere seine äußere Oberfläche S einschließt, aber auch Lungenstrukturinformationen repräsentiert, die bis zu dem durch die Eindringtiefe der intraoperativen Bildgebungsmodalität IA2 gegebenen Abstand d tiefer von der Oberfläche S liegen. Auf diese Weise wird ein ausgehöhltes Volumen VL als Lungenschichtobjekt LO gebildet.
Allgemein wird dann während des Betriebs des IPS das intraoperative Bild IM2 und zumindest ein Teil des präoperativen Bildvolumens VL nicht notwendigerweise gleichzeitig an einer Schnittstelle IN empfangen. Der Schichtidentifizierer LD identifiziert dann durch Segmentierung oder auf andere Weise das Schichtobjekt LO in dem Volumen VL, das der äußeren Oberfläche S und dem Gewebe bis zu d Einheiten tief von der äußeren Schicht S der Lunge LG entspricht. Angesichts des intraoperativen Bildes IM2 findet der Abgleicher M die Ansicht V_p auf dem Schichtobjekt LO, die den Bildstrukturen in einem aktuellen intraoperativen Bild IM2 entspricht. Dieser Abgleich kann durch Änderung der Rendering-Parameter p im Folgenden erfolgen, bis eine solche Übereinstimmung gefunden wird. Dies wird weiter unten noch näher erläutert. Der Abgleich wird vom Abgleicher M versucht und ausgewertet und wenn eine Übereinstimmung gefunden wurde, wird die entsprechende Ansicht V_p als Bild vorzugsweise zusammen mit dem aktuellen intraoperativen Bild IM2 ausgegeben. Die Bildwerte der beiden Bilder V_p, IM2 werden dann an einen Grafiktreiber DV weitergeleitet, der in geeigneter Weise eine Anzeige der beiden Bilder V_p, IM2 auf einer oder mehreren Anzeigeeinrichtungen DD bewirkt.
Es versteht sich, dass der Betrieb des Schichtdefinierers LD in einer früheren Phase als die des Renderns durch den Renderer REN erfolgen kann. Das Bildverarbeitungssystem IPS kann in einer verteilten Umgebung angeordnet sein, wobei insbesondere der Schichtdefinierer LD von einer Recheneinheit PU ausgeführt wird, während das Rendern an einer anderen Recheneinheit PU' erfolgt. Wenn die Komponenten, insbesondere der Renderer REN und der Schichtdefinierer LD, auf unterschiedlichen Recheneinheiten (wie beispielsweise unterschiedlichen Servern oder anderen Recheneinheiten) in einer Cloud-Architektur arbeiten, ist in Ausführungsformen vorgesehen, dass diese noch über geeignete Kommunikationsschnittstellen über ein geeignetes drahtloses oder drahtgebundenes Netzwerk kommunizieren können.
Alternativ sind alle oder im Wesentlichen alle Komponenten des IPS integriert und werden auf derselben Recheneinheit ausgeführt. Insbesondere können die Funktionalitäten des Schichtdefinierers LD und des Renderers REN zu einer einzigen Rechenentität fusioniert werden. In solchen integrierten Ausführungsformen kann der Schichtdefinitionsvorgang des Schichtdefinierers LD während oder gleichzeitig mit dem Renderingvorgang REN erfolgen. Die Schichtdefinition kann integriert sein oder einen Teil des Renderingvorgangs bilden.
Es ist aber auch möglich, die beiden Funktionen zeitlich zu teilen, so dass der Schichtdefinitionsvorgang des Schichtdefinierers LD früher als das Rendern erfolgt. Die Definition des Schichtobjekts LO kann als geeignete Datenstruktur, wie beispielsweise eine binäre Maske, dem Renderer RN bereitgestellt werden. Die Funktion des Schichtdefinierers LD kann in einer Vorbereitungsphase vor der Renderingphase durch den Renderer REN ausgeführt und eine Spezifikation des definierten Schichtobjekts LO kann in einer geeigneten Datenbank gespeichert werden. Die gespeicherte Objektschicht LO wird bei Bedarf abgerufen, wenn der Abgleich- und Renderingvorgang während des Eingriffs beginnt, d. h., wenn intraoperative Bilder am Eingang IN empfangen werden.
Der Renderingvorgang kann in Echtzeit als Online-Vorgang erfolgen, der stattfindet, während der Strom intraoperativer Bilder IM2 am Bildprozessor IPS an der Schnittstelle IN empfangen wird. Das Rendern durch den Renderer REN wird dynamisch mit jedem neuen Frame aktualisiert, der in dem Strom intraoperativer Bilder IM2 erfasst wird. Eine Gatekeeper-Einheit (nicht dargestellt) kann bei jedem Frame prüfen, ob eine Differenz zu einem früheren Frame besteht, die einen benutzerdefinierbaren Schwellenwert überschreitet. Zur Quantifizierung der Differenz kann aus zwei aufeinanderfolgenden Frames ein Differenzbild gebildet werden. Wenn es keine solche Differenz gibt, wird das aktuelle Rendering beibehalten, um CPU-Zeit zu sparen. Die Neuberechnung des Renderings wird nur ausgelöst, wenn der Gatekeeper beurteilt, dass die Differenz den Schwellenwert überschreitet.
Es wird nun auf 3 Bezug genommen, die den Betrieb des Renderers REN veranschaulicht. Das Rendern ist im Allgemeinen ein Vorgang, bei dem Voxel im volumetrischen Volumen VL verarbeitet werden, um ein vorzugsweise planares Bild zu erzeugen, das der Ansicht Vp des Volumens, insbesondere des Schichtobjekts LO, von einer räumlichen Position p einer konzeptionellen Kamera CM im virtuellen Raum, in den das Volumen Vp eingebettet ist, entspricht. Sowohl die Kameraposition als auch der Raum können als in dem Speicher der Recheneinheit PU abgelegte Daten dargestellt werden. Der Renderingvorgang wird vorzugsweise durch einen Mehrkernprozessor wie GPU (Graphical Processing Unit) oder TPU (Tensor Processing Unit) oder andere durchgeführt. Die Position p der Kamera CM ist schematisch durch den Positionsvektor p angedeutet, der in einem gemeinsamen Koordinatensystem CS definiert ist, in dem sich das Volumen V befindet.
Die Ansicht Vp ist ein 2D-Bild in einer Bildebene. Die Ansicht V_p wird berechnet, indem geometrische Strahlen gr (in 3 nur gestrichelt dargestellt) aus der Position der konzeptionellen Kamera bei p durch das Volumen VL geworfen werden. Die Werte von Voxeln, die einen gegebenen geometrischen Strahl gr schneiden, werden dann abgetastet und gemäß einer Übertragungsfunktion T verarbeitet, um einen jeweiligen Bildwert für die Ansicht V_p an der Pixelposition PX zu erzeugen. Abhängig von einer gewünschten Größe des Bildes Vp und dem Abstand zwischen der Bildebene und der Kameraposition p kann ein Bildkegel IC definiert werden, der alle geometrischen Strahlen umfasst. Der Kegel ist schematisch als Paar von konvergierenden gestrichelten Linien angedeutet. Bei der Berechnung der Bildpunkte PX in der Ansicht V_p werden nur Voxel im Volumen berücksichtigt, die den Bildkegel IC schneiden. Bildwerte für alle Strahlen gr innerhalb des Kegels IC bilden dann die Ansicht V_p.
Wie erwähnt, verarbeitet beim Rendern eine Übertragungsfunktion T die Voxel, die einen bestimmten geometrischen Strahl gr schneiden. In einer Ausführungsform ordnet die Übertragungsfunktion einem gegebenen Voxelwert einen Farb- oder Grauwert und eine Transparenz zu. Dies kann durch Bilden einer gewichteten Summe aller Voxelwerte entlang des gegebenen Strahls gr erreicht werden, die formal geschrieben werden können als: $T (g r) = \sum_{V x i \cap g r \neq Φ} I (V x i) \cdot λ (V x i) \cdot m (V x i)$
wobei Idie Indikatorfunktion der Maske ist,
λ die Transparenzgewichte und
m(.) die Farb- oder Grauwertzuordnungen sind.
Das heißt, jeder Voxelwert Vxi wird mit einem Gewicht λ multipliziert, das die Transparenz des Voxelwertes repräsentiert. Mit anderen Worten definiert die Transparenz λ, inwieweit der jeweilige Voxelwert zum endgültigen Bildpunkt PX in Ansicht V_p beiträgt. Eine große Vielfalt verschiedener Übertragungsfunktionen T zum Implementieren verschiedener Wiedergabeschemata ist hierin vorgesehen, wie MIP, Surface Rendering, Marching-Cube-Algorithmen und andere. Die Lunge LG ist im Volumen im Sagittalebene-Querschnitt dargestellt.
Wie bereits erwähnt, wird hierin vorgeschlagen, die Rendering-Operationen auf Voxel zu beschränken, die in der oben vorgestellten Schicht LO mit der Dicke d liegen. Die Voxel im Schichtobjekt LO stellen Lungengewebe dar, das sich auf der äußeren Oberfläche und bis zu einer Tiefe d von der Oberfläche S befindet. Die Dicke d des Schichtobjekts LO entspricht der Eindringtiefe der zu verwendenden intraoperativen Bildgebungsvorrichtung AI2. In Ausführungsformen handelt es sich bei dieser Bildgebungsvorrichtung um ein Endoskop, dessen Eindringtiefe durch die Frequenz und Intensität des zur Erzeugung der Bilder verwendeten Abfragelichts definiert ist.
Voxel, die in einer inneren Region IR des Schichtobjekts LO liegen, werden beim Rendering grundsätzlich ignoriert, ebenso wie, bei einer bestimmten Kameraposition p, distale Voxel Vxd, die sich an der distalen Seite des Schichtobjekts LO befinden. Nur proximale Voxel Vxp tragen in ihren Werten zur Wiedergabe bei. Es versteht sich, dass sich das Konzept von distalen und proximalen Voxeln mit der Kameraposition p ändert. Anders ausgedrückt kann eine Kameraposition, die proximal in Bezug auf eine gegebene Kameraposition ist, ein distales Voxel in Bezug auf eine andere Kameraposition p' sein. Ein Abschnitt kann als „distal“ bezeichnet werden, wenn dieser Abschnitt bei einer gegebenen Kameraposition erfordern würde, dass ein geometrischer Strahl das Schichtobjekt LO zweimal schneidet, um diesen Abschnitt zu durchqueren.
Voxel, die außerhalb des Schichtobjekts LO und in einem distalen Teil des Schichtobjekts LO liegen, werden beim Rendering bei einer Kameraposition p alle ignoriert. Die Voxel außerhalb der Schichtobjekte werden als Nicht-Schicht-Voxel bezeichnet. Hierzu gehören insbesondere die Voxel in der inneren Region IR, die von der Objektschicht LO umgeben ist. Eine Möglichkeit, sicherzustellen, dass die distalen Voxel im distalen Abschnitt des Schichtobjekts LO und die Voxel in der inneren Region IR ignoriert werden, besteht darin, ihre Transparenz auf opak einzustellen. Dies kann beispielsweise dadurch geschehen, dass die jeweiligen Voxel mit dem Transparenzfaktor λ=0 multipliziert werden, um ihren Beitrag zum Pixel PX in der Ebene der Ansicht V_p im Wesentlichen zu eliminieren.
Bei dieser Angelegenheit handelt es sich jedoch um Konvention, und andere numerische Schemata können verwendet werden, um distale Voxel und Voxel der inneren Region zu eliminieren. Die Identitäten von Voxeln innerhalb des Schichtobjekts LO können durch einen Schichtdefinitionsvorgang vordefiniert werden, der durch den oben erwähnten Schichtdefinierer LD implementiert werden kann. Dazu kann eine binäre Maske definiert werden. Eine binäre Maske ist eine Datenstruktur, die „0“ (numerische Nullen) und „7“ (numerische Einheit) umfasst, die Nullen und Einsen jeweiligen Voxelpositionen zuordnet. Die binäre Maske ist somit ein binäres Skalarfeld. In einer Maskenausführungsform schließt der Renderer Einträge der Maske als Faktoren in die Übertragungsfunktion T ein, wodurch nicht gewünschte Voxel außerhalb des proximalen Schichtobjekts LO automatisch eliminiert werden. Diese Einträge werden als Werte der Indikatorfunktion I(·) integriert in den Ausdruck der Übertragungsfunktion eq(7) dargestellt.
In einer anderen Ausführungsform wird das Schichtobjekt LO vor dem Rendern aus einer gegebenen Kameraposition P beschnitten. In dieser Ausführungsform wird die innere Region IR und der distale Teil des Schichtobjekts einfach verworfen, so dass nur ein Teil der Objektschicht LO, nämlich der proximale, der innerhalb des Bildkegels IC liegt, gerendert wird.
In einer weiteren Ausführungsform wird, da die Eindringtiefe bekannt ist, das Rendering nach einer bestimmten Anzahl von Voxeln (die eine Renderinglänge definieren) entlang jedes geometrischen Strahls beendet. Die Renderinglänge kann aus der bekannten Eindringtiefe (vorgebbar in einer geeigneten Längeneinheit, wie mm, cm oder anderen) und der Auflösung der Bilder berechnet werden, wobei die Anzahl der Voxel der Eindringtiefe d entspricht. Für Strahlen gr, die nicht senkrecht zur Außenfläche der Objektschicht verlaufen, muss die Renderinglänge ggf. um einen Faktor angepasst werden, wie cos (α), wobei α ein Winkel ist, der die Abweichung vom senkrechten Einfall misst.
Anstatt, wie oben beschrieben, Nicht-Schicht-Voxel schlicht zu ignorieren, ist auch eine Fuzzy-Version dieser Ausführungsform vorgesehen. In dieser fuzzifizierten Ausführungsform werden Nicht-Schicht-Voxeln und/oder den Voxeln des distalen Abschnitts Vxd durch den Renderer REN mindestens ein anderer Beitrag als „0“ gegeben, wobei jedoch mindestens den proximalen Voxeln des Schichtobjekts LO ein höherer Beitrag gegeben wird als den Nicht-Schicht-Voxeln und/oder den Voxeln des distalen Abschnitts Vxd.
Eine Anzahl verschiedener Ausführungsformen zum Definieren der Objektschicht LO wird nachstehend insbesondere bei Schritt S420 in 4, auf die nun Bezug genommen wird, ausführlicher erörtert.
Insbesondere zeigt 4 ein Flussdiagramm eines Bildverarbeitungsverfahrens, das dem Betrieb des oben erwähnten Bildverarbeitungssystems IPS zugrunde liegt. Es versteht sich jedoch, dass die folgenden Verfahrensschritte auch als eine Lehre für sich genommen verstanden werden können, die nicht notwendigerweise an die oben in 1 beschriebene Architektur des Bildverarbeitungssystems IPS gebunden ist.
In Schritt S410 wird ein präoperatives Volumenbild VL des Patienten, insbesondere einer Lunge LG des Patienten PAT, zusammen mit einem intraoperativen Bild IM2 empfangen, das von einem Endoskop, Ultraschall oder einer anderen auf nicht ionisierender Strahlung basierenden Bildgebungsmodalität aufgenommen wird. Die intraoperativen Bilder und die präoperativen Bilder werden nicht notwendigerweise gleichzeitig empfangen und verarbeitet.
Zunächst wird das präoperative Bild V mit Bezug auf den nächsten Schritt S420 wie folgt verarbeitet, wobei in dem Volumen ein Schichtobjekt LO definiert wird, das insbesondere eine Außenfläche der Lunge LG und von weiterem Lungengewebe, das bis zu d Längeneinheiten entfernt und unterhalb der Außenfläche S liegt, repräsentiert, wobei das Schichtobjekt LO eine Hautdicke aufweist, die d entspricht. Die Dicke d entspricht im Wesentlichen einer Eindringtiefe d der von der intraoperativen Bildgebungsmodalität, wie dem Endoskop, verwendeten Strahlung. Alternativ kann die Dicke des Schichtobjekts LO kleiner als die Eindringtiefe sein. Voxel außerhalb der Objektschicht, also solche, die nicht innerhalb der Dicke d liegen, sind nicht Teil der Objektschicht. In diesem Sinne kann das Schichtobjekt als Voxel-Teilvolumen mit ausgehöhlter Schalenstruktur konzipiert werden.
In einer Ausführungsform von Schritt S420 werden verschiedene Stadien von Lungengewebesegmentierungen in Teilvolumina durchgeführt, aus denen ein Maskenbild abgeleitet wird, welches das gewünschte Lungenobjekt LO mit der erforderlichen Dicke d identifiziert. Da die Auflösung des präoperativen Bildgebers IA1 bekannt ist und ebenso die theoretische Eindringtiefe in einer geeigneten Längenabmessung, d. h. mm oder cm, kann die erforderliche Dicke ohne weiteres in eine entsprechende Sequenz von Voxeln umgesetzt werden. Die Eindringtiefe kann somit durch eine Anzahl von Voxeln und nicht durch ein physikalisches Längenmaß ausgedrückt werden.
Diese Schritte können unter Bezugnahme auf 5, in der beispielhafte Zwischenbilder A)-F) gezeigt sind, die sich als Zwischen- und Endergebnisse in bestimmten Teilschritten ergeben, leichter verstanden werden. Genauer gesagt schließt in Ausführungsformen Schritt S420 die folgenden Teilschritte 1-5 ein:

Im Teilschritt 1 wird eine Segmentierung der Lunge L im CT-Bild zur Ausgabe eines Lungenobjekts durchgeführt. Dies kann dadurch geschehen, dass eine Lungenmaske erzeugt wird, die Voxelpositionen „1“ oder „0“ zuordnet. Gemäß einer Konvention gibt „1“ an, dass das jeweilige Voxel die Lunge repräsentiert, während „0“ angibt, dass es dies nicht tut. Stattdessen können andere Konventionen verwendet werden. Diese Maske kann als „Lungenmaske“ bezeichnet werden.

Im Teilschritt 2 wird eine bildmorphologische Erosion der Lungenmaske durchgeführt, um eventuelle Überstände, die Nicht-Lungengewebe darstellen, wie die unerwünschte Thoraxwand, zu entfernen.
Im Teilschritt 3 wird basierend auf der Eindringtiefe d des von der interoperativen Modalität IA2 verwendeten interoperativen Abfragesignals (z. B. (sichtbares) Licht, IR, NIR oder anderen) eine zweite morphologische Erosion durchgeführt, um eine zweite Lungenmaske zu erzeugen, die kleiner ist als die im Teilschritt 2 erhaltene Lungenmaske.
Im Teilschritt 4 wird die zweite Maske von der ersten Maske subtrahiert, um eine Oberflächenschichtmaske (Maske für das Schichtobjekt) zu erhalten. Diese Differenzmaske enthält Voxel, die bei Exposition gegenüber dem intraoperativen Bildgebungssignal zum visuellen Erscheinungsbild der Lunge beitragen.
Im Teilschritt 5 werden dann mit der Oberflächenschichtmaske für das Schichtobjekt LO diejenigen Voxel des ursprünglichen CT-Bildes maskiert, die zum visuellen Erscheinungsbild beitragen.
5 A zeigt die Segmentierung von Teilschritt 1. Diese Segmentierung kann noch Reste der Thoraxwand einschließen, die dann durch die optionale nachfolgende Segmentierung von Teilschritt 2 entfernt werden, wie in 5B veranschaulicht. Nach dem Vorgang des Erodierens oder „Aushöhlens“ von Teilschritts 3 ist das Ergebnis der Schalenstruktur (in Teilansicht) in 5C veranschaulicht. Das Ergebnis von Teilschritt 4 ist in 5D gezeigt, wo nun das Schichtobjekt LO in der erfassten Eindringtiefe D austritt und schließlich nach dem letzten Teilschritt 5 ein Teil des Schichtobjekts LO in 5E und 5F gezeigt ist. Der weiße Abschnitt in 5E und der schwarze Abschnitt und der weiße Abschnitt in 5F stellen Nicht-Schicht-Voxel dar, die keinen Teil des Schichtobjekts LO bilden.
Zusätzlich zu oder anstelle der ersten Ausführungsform für die Definition von Lungen-Schichtobjekten basierend auf den Teilschritten 1-5 ist hierin eine weitere Ausführungsform vorgesehen, die Techniken zur Volumenumformatierung verwendet. Genauer gesagt, stehen bei der Standardformatierung die Ebenen der Schichtbilder im Volumen VL senkrecht auf der Abbildungsachse Z. Dies kann umformatiert werden, um durch Umformatierungsalgorithmen neue Schichtbilder zu erzeugen, die jeweils in unterschiedlichen Bildebenen liegen, die senkrecht zu einer beliebigen, von der Achse Z verschiedenen Richtung Z' verlaufen. Ferner liegen die Schichtbilder nicht notwendigerweise in Ebenen, sondern können jeweils in gekrümmten Flächen angeordnet sein. Es ergibt sich somit eine Reihe von gekrümmten Flächen, von denen angenommen werden kann, dass sie sich entlang einer beliebigen benutzerdefinierbaren Normalenrichtung (möglicherweise verschieden von Z) durch das Volumen VL ausbreiten.
Eine solche Umformatierung auf gekrümmten Flächen innerhalb des Ausgangsvolumens VL ist bei dieser zweiten Ausführungsform vorgesehen. Genauer gesagt, schließt die zweite Ausführungsform von Schritt S420 insbesondere einige oder alle der folgenden Teilschritte ein, wie sie durch eine Hardware- oder Softwarekomponente, wie den Lungendefinierer LD, implementiert werden können.
Im ersten Teilschritt 1 wird wiederum wie zuvor eine Lungensegmentierung durchgeführt, um ein Lungenobjekt als Teilvolumen zu erhalten.
Im Teilschritt 2 wird ein Punkt auf der Oberfläche des Lungenobjekts innerhalb einer bestimmten Nachbarschaft eines Ortes von Interesse (Läsion, z. B. Tumor oder anderes) identifiziert. Die durch eine Kugel oder dergleichen definierbare Nachbarschaft kann durch Einstellen eines Durchmessers oder Radius der Kugel benutzerdefinierbar sein. In Ausführungsformen kann der Punkt auf der Oberfläche dem Ort von Interesse am nächsten sein.
Im Teilschritt 3 wird ein krummliniges umformatiertes Bildvolumen in einer bestimmten Nachbarschaft (z. B. einer Kugel) um den Oberflächenmittelpunkt erzeugt, wie im Teilschritt 2 identifiziert. Dies kann dadurch erreicht werden, dass ein Normalenvektor n der Lungenwand im Mittelpunkt angenommen wird und dann entlang orthogonaler Richtungen u und v, die senkrecht auf dem Normalenvektor n stehen, gekrümmt der Lungenoberfläche folgt. Dabei spannen u, v dann eine gekrümmte Umformatierungsfläche auf, so dass jeder Punkt der zweidimensionalen Umformatierung ein Teil der Oberfläche des Lungenobjekts ist. So kann jeder Punkt (u, v) in der Umformatierungsebene auf einen kartesischen Punkt (x, y, z) im Bildvolumen abgebildet werden.
Nachdem man nun die krummlinige Ebene definiert hat, kann man in Teilschritt 4 die Voxelwerte für jede Position (u, v) in der Umformatierungsebene für einige Millimeter entlang eines Abtaststrahls mit der Normalenrichtung n im Bildvolumen abtasten, bis die visuelle Eindringtiefe d erreicht ist. Unter „Abtasten“ wird hierin der Vorgang verstanden, den Wert des nächstgelegenen Voxels im (x, y, z)-Bildvolumenraster nachzuschlagen oder den Punktwert aus einer Nachbarschaft der nächstgelegenen Voxel zu interpolieren (z. B. tri-lineare oder kubische Spline-Interpolation).
Alle Werte entlang jedes Abtaststrahls werden zu einer einzigen Helligkeit und Farbe kombiniert (siehe unten), die dann an der Position (u, v), dem Ursprung des Abtaststrahls, in der krummlinigen Umformatierung gerendert wird.
Die nun folgenden Schritte S430 des Renderns des Schichtobjekts LO und des Abgleichs der gerenderten Ansicht mit dem intraoperativen Bild S440 werden gemeinsam ausgeführt: Mit anderen Worten, eine Ansicht oder ein intraoperatives Bild Vp auf dem definierten Lungenobjekt LO wird in Schritt S430 so gerendert, dass es mit dem aktuellen intraoperativen Bild, wie es in Schritt S410 empfangen wurde, übereinstimmt S440. Das Ergebnis des Renderingvorgangs S430 ist ein virtuelles Rendering der Lungenoberfläche S, einschließlich in Ausführungsformen des Musters von Oberflächengefäßen und interlobulären Septen. Auf diese Weise können die mustergebenden Merkmale wie Gefäße und/oder Septenstrukturen in einer Farbkodierung wiedergegeben werden, die sich deutlich von der Farbkodierung des übrigen Lungengewebes abhebt, das in einer vorzugsweise homogenen Umgebungsfarbe (z. B. rot oder andere) wiedergegeben werden kann. Die mustergebenden Strukturen wie Gefäße und Septenstrukturen können daher als diskrete Elemente erscheinen, die mindestens teilweise in einen Hintergrund eingebettet sind, der das übrige Gewebe mit Ausnahme der Septenstrukturen und/oder Gefäße farblich codiert.
Bei der Volumendarstellung des Schichtobjekts LO werden vorzugsweise Transparenzen und Farben verwendet, die visuell mit der Lunge LG übereinstimmen. Beispielsweise können für sichtbares Licht dunkle Voxel in dem Volumen in einer rötlichen fleischigen Farbe wiedergegeben werden, während helle Voxel in dem Volumen, die gewöhnlich Gefäßen entsprechen, in einer dunklen Farbe wiedergegeben werden können, wie schwarz oder einer anderen. Der Renderingschritt S430 wird, wie oben in 3 beschrieben, durchgeführt. Nicht-Schicht-Voxel werden ignoriert, so dass der Renderingschritt in der Lage ist, zwischen Schicht-Voxeln ∈ LO und Nicht-Schicht-Voxeln ∉ LO zu unterscheiden. Neben den Nicht-Schicht-Voxeln werden bei einer Position p der Kamera CM auch die Voxel im distalen Teil der Schicht LO ignoriert, wie dies bereits in 3 erläutert wurde. Alternativ kann die Schicht geschnitten oder beschnitten werden, um für jedes p den entsprechenden distalen Abschnitt zu entfernen. Der beschnittene Abschnitt wird dann LO wieder hinzugefügt, wenn p geändert wird, und ein neuer Abschnitt ist der distale, und nun wird dieser Abschnitt entfernt, und so weiter. In einer alternativen Ausführungsform ist anstelle des Ignorierens von Nicht-Schicht-Voxeln und/oder Voxeln des distalen Teils auch eine Fuzzifizierung dieses Schemas vorgesehen, wie oben im Zusammenhang mit 3 erwähnt.
Der Renderingschritt S430 kann das Rendern der krummlinigen Neuformatierung einschließen. Der Rendering-Parameter p kann in interaktiver Zeit unter Wiederverwendung des Neuformatierungsvolumens angepasst werden.
In jeder der obigen Ausführungsformen kann ein Overlay-Rendering des Ortes von Interesse, wie beispielsweise des betreffenden Tumors, an der geeigneten (u, v) Position in einer anderen Farbe durchgeführt werden, um die Position in Bezug auf das Oberflächenmuster anzuzeigen.
Beim Rendering kann berücksichtigt werden, dass unterschiedliche Gewebe im gewählten Spektralbereich unterschiedlich sichtbar sind.
In Ausführungsformen können zusätzliche Informationen zu diesem Rendering hinzugefügt werden. Diese zusätzlichen Informationen können Planungsdaten, wie geplante Schnittebenen, Läsionsposition und Läsionsumfang und andere einschließen. Da auf dem ursprünglichen CT-Bild sowohl eine chirurgische Planung als auch eine Tumorsegmentierung vorgenommen wird, kann eine Registrierung dieses Renderings nicht erforderlich sein.
Der Abgleichvorgang S440 kann durch Variation der Kameraposition p entlang eines gedachten Kreises, der das Schichtobjekt LO umgibt, erfolgen, wobei in geeigneten Schritten entlang dieses Kreises vorgegangen wird. Jede so gewonnene Ansicht Vp wird dann mit dem intraoperativen Bild IM2 verglichen. Der Vergleich kann auf einem geeigneten Ähnlichkeitsmaß beruhen. Ausführungsformen des Ähnlichkeitsmaßes können auf euklidischen Normen basieren, wie der pixelweisen Differenz, die quadriert und summiert und gegebenenfalls gewichtet und/oder normiert wird, wie erforderlich. Andere Ähnlichkeitsmaße wie wahrscheinlichkeitsbasierte, informationstheoretische Maße (insbesondere entropiebasierte) wie gegenseitige Informationen, Kreuzentropie oder diskrete Kullback-Leibler-Divergenz oder andere sind hierin eingeschlossen.
Wird eine Ansicht V_p gefunden, die um weniger als einen benutzerdefinierbaren oder festen Schwellenwert von dem aktuell bereitgestellten intraoperativen Bild abweicht, so wird diese Ansicht in Schritt S450 ausgegeben und angezeigt, vorzugsweise gemeinsam mit dem intraoperativen Bild IM2. Die Ansicht V_p und das Bild IM2 können auf einer einzigen Anzeigeeinheit bzw. auf zwei Anzeigeeinheiten dargestellt werden. Anstatt wie beschrieben schrittweise durch einen diskreten Satz von Kamerabildpositionen p_j vorzugehen, um so die beste Sicht zu finden, kann dies auch als Optimierungsproblem hinsichtlich einer vom Parameter p abhängigen Zielfunktion umformuliert werden. Die Zielfunktion kann dann durch jeden geeigneten Optimierungsalgorithmus optimiert werden, um die Zielfunktion zu optimieren (wie zum Beispiel zu minimieren oder zu maximieren). Der Ansichtsparameter definiert insbesondere die räumliche Lage der Kamera CM und/oder die Breite des Bildkegels IC.
Die Zielfunktion F(-) kann insbesondere wie zuvor ein Abstandsmaß einschließen, das eine Differenz oder Abweichung zwischen dem aktuellen intraoperativen Bild IM2 und der parametrisierten Ansicht gemessen hat. Das Optimierungsproblem kann formal wie folgt geschrieben werden: $a r g m i n_{p} F (p) = d (I M 2, V_{p}) + R e g$
Der Parameter p ist die zu optimierende Größe, d(·,·) (das Abstandsmaß und Reg(·) ein optionaler Regularisierungsterm, gegebenenfalls in Abhängigkeit von p oder IM2.
Der Abgleich kann durch einen Oberflächenmerkmal-Erfassungsalgorithmus basierend auf Merkmalsdeskriptoren (FD) durchgeführt werden. In Ausführungsformen schließen die hierin vorgesehenen FD-basierten Algorithmen SIFT (scale invariant feature transform) oder SURF oder andere auf der Hough-Transformation basierende Varianten davon ein. Weitere Ausführungsformen schließen GLOH oder HOG ein. Ein Vorteil dieser FD-basierten Algorithmen besteht darin, dass kein spezifisches Korrespondenzpaar vorgeschrieben werden muss, da ein solcher Merkmalspaaransatz wahrscheinlich in gegenwärtigen Kontexten versagt, in denen die Lunge zwischen der prä- und intraoperativen Phase aufgrund von Inflation/Deflation stark verformt wird.
Der Betrieb von Algorithmen vom FD-Typ kann grob als ein zweistufiger Ansatz beschrieben werden: Zum einen gibt es einen Detektionsschritt und zum anderen einen Merkmaldeskriptor-Extraktionsschritt. Im ersten Schritt wird eine Detektionstechnik (z. B. Blob-Detektor) verwendet, um eine Sammlung von Orten (hierin als „Kandidatenorte“ oder „Kandidatenpunkte“ bezeichnet) zu detektieren, die von potenziellem Interesse sind. Bildnachbarschaften (z. B. n-dimensionale Rechtecke oder n-dimensionale Kugeln, n ≥ 2) der so gesammelten Kandidatenorte im Bild werden dann im zweiten (Merkmalsextraktions-) Schritt analysiert. Bei dieser Analyse werden Merkmalsdeskriptoren konstruiert, die Bildstrukturen von Interesse erfassen, wie z. B. bestimmte Bildwertverteilungen. Die Merkmalsdeskriptoren sind vorzugsweise in einer geeigneten Größe (oder „Stärke“) quantifizierbar, die vorzugsweise unter Rotation und/oder Skalierung invariant ist. Die Merkmalsdeskriptoren aus der gerenderten Ansicht Vp und dem aktuellen intraoperativen Bild IM2 werden dann auf vorzugsweise bestmögliche Übereinstimmung verglichen. Selbst bei bestmöglicher Übereinstimmung aller jeweiligen Kandidatenorte verbleiben gewisse Residuen (Diskrepanzen). Die Summe dieser Residuen aller Übereinstimmungen ergibt dann den Wert der Zielfunktion F(·) für eine einzige geprüfte Ansicht V_p. Der Abgleichvorgang wird für alle getesteten Ansichten V_p wiederholt, um die optimalen Ansichten V_p zu finden.
Beim Abgleich des vorgeschlagenen Verfahrens kann die Lungenoberflächenwiedergabe Vp im Wesentlichen so verformt werden, dass sie mit dem aktuellen intraoperativen Bild, wie dem 2D-Endoskopbild, übereinstimmt. Eine mögliche Ausführungsform zur Bestimmung der besten Verzerrung ist die Übereinstimmung von Merkmalspunktpaaren, wie oben beschrieben. Eine andere Ausführungsform kann jedoch gänzlich ohne FD-basierte Punktpaare arbeiten, und zwar mit sogenannter nicht-parametrischer 2D-Bildregistrierung. Die 2D-Bildregistrierung bestimmt ein glattes Verschiebungsvektorfeld, so dass die beiden Bilder (Vp und IM2) mit möglichst hoher Information, z. B. gegenseitiger Information oder Kreuzentropie, überlagert werden können. Dies wird dann als Wert für die Zielfunktion F(.) verwendet. Das optimale Verzerrunsvektorfeld wird unter bestimmten regularisierenden Randbedingungen, wie Glätte und minimale Biegeenergie (z. B. sog. Thin Plate Splines) bestimmt. Bei dem vorgeschlagenen Abgleich ist es daher möglicherweise nicht notwendig, Merkmalspunktpaare zu extrahieren, wie sie in einigen aktuellen Ansätzen auf der Basis der Bildregistrierung erforderlich sind.
Es sind jedoch auch andere Ausführungsformen denkbar, die nicht notwendigerweise automatisiert sind, sondern manuell oder halbmanuell. Beispielsweise scrollt der Benutzer einfach durch die verschiedenen Ansichtspositionen, um die Ansicht anzupassen, die am besten zu den derzeit gezeigten interoperativen Bildern passt. In dieser Ausführungsform ändert der Betrachter beispielsweise die Kameraposition und bewirkt entsprechende Renderings, indem er auf einem Touchscreen, auf dem das aktuelle Rendering angezeigt wird, Gesten wie eine Drehung oder Ähnliches ausführt. Stattdessen kann ein Zeigegerät, z. B. eine Computermaus, verwendet werden, um die verschiedenen Renderings auszulösen, bis die beste Übereinstimmung auf der Grundlage der vorläufigen Beurteilung durch den Bediener gefunden ist. Diese manuellen oder halbautomatischen Ausführungsformen können dann den Abgleicher M einschließen oder der Abgleicher kann noch vorhanden sein und den Benutzer unterstützen, um die am besten passende Ansicht zu finden, die wiedergegeben werden soll. Eine visuelle oder akustische Anzeige kann ausgegeben werden, um anzuzeigen, dass eine Übereinstimmung gefunden wurde. Beispielsweise kann ein Randabschnitt des Renderings V_p, wie auf der Vorrichtung DD angezeigt, blinken oder die Farbe ändern, um die beste Übereinstimmung anzuzeigen. Alternativ oder zusätzlich kann Text angezeigt werden, wie „ÜBEREINSTIMMUNG“ oder andere, sobald eine Übereinstimmung gefunden wurde.
In einer der oben beschriebenen Ausführungsformen können Planungsdaten automatisch dem intraoperativen Bild und/oder der Renderingansicht Vp überlagert werden, z. B. während VATS. Während des Eingriffs hat der Benutzer (z. B. Chirurg) Zugriff auf das Rendering Vp und vorzugsweise auf Zusatzinformationen aus einer präoperativen Planungsphase. Der Benutzer kann dann Oberflächenstrukturen, die er direkt auf der realen Lunge sehen kann, mental mit dem Rendering abgleichen („mentale Registrierung“). Er kann somit den planungsgemäßen Eingriff, z. B. Schneiden entlang der geplanten Schnittlinien, vornehmen. Chirurgische Planungsdaten, z. B. Schnittlinien, können dem intraoperativen Bild überlagert werden. Oft sind diese 2D-Oberflächeninformationen ausreichend, beispielsweise für eine Keilresektion. Wenn 3D-Planungsinformationen erforderlich sind, kann ein biomechanisches Modell der Lungendeflation für den 3D-Abgleich der Lunge basierend auf der gemessenen Position von Oberflächenmerkmalen im Raum verwendet werden.
6 zeigt ein beispielhaftes Rendering Vp, das durch die erste Ausführungsform von Schritt S420 erhalten wurde. Wie zu erkennen ist, sind beim Rendering des Lungenobjekts LO oberflächliche Gefäßstrukturen deutlich sichtbar.
Obwohl Nicht-Schicht-Voxel in allen Ausführungsformen ignoriert werden, kann der Benutzer in einer Ausführungsform immer noch die Möglichkeit haben, tiefere Lungenstrukturen anzufordern. Diese können dann abwechselnd mit dem Rendering des Schichtobjekts oder zusätzlich dazu angezeigt werden. Weitere Anatomie kann auch zusätzlich zu dem Rendering des Schichtobjekts LO gezeigt werden, wie beispielsweise in 6 veranschaulicht.
In der endoskopischen Ausführungsform kann statt einer Detektorvorrichtung, die im sichtbaren Spektrum empfindlich ist, auch Licht in anderen Teilen des Spektrums verwendet werden. In Ausführungsformen wird beispielsweise Nahinfrarotlicht (NIR) verwendet, da dieses den Vorteil hat, dass seine Eindringtiefe d in Gewebe höher ist als bei sichtbarem Licht. Somit sind NIR-Bilder in der Lage, zusätzliche Merkmale zu erfassen, was später zu einem besseren Merkmalsabgleich führt.
Zur Kontraststeigerung kann schmalbandiges IR-Licht (statt Weißlicht) verwendet werden, z. B. indem schmalbandige IR-LEDs zur Beleuchtung verwendet werden.
Idealerweise wird die verwendete Wellenlänge an Absorptionsmaxima wichtiger Strukturen angepasst. 7 zeigt die Absorptionskurven von Wasser und Hämoglobin im sichtbaren und NIR-Bereich. Es gibt deutliche Absorptionsspitzen, die verwendet werden können, um Blutgefäße mit hohem Kontrast zu detektieren. Da die Absorptionskurve von oxygeniertem und desoxygeniertem Hämoglobin unterschiedlich ist, können auch Venen von Arterien unterschieden werden. Diese spektrale Bildgebungsfähigkeit kann genutzt werden, um Venen und Arterien bei dem Rendering Vp bzw. bei der Visualisierung des endoskopischen Bildes IM2 einen unterschiedlichen Kontrast bzw. eine unterschiedliche Farbe zu verleihen. Gefäße werden somit in der Ansicht V_p und/oder im intraoperativen Bild IM2 in Arterien und Venen basierend auf vorherrschenden Materialien, die während der Bildgebung vorhanden sind, wie Hämoglobin in oxygenierter bzw. desoxygenierter Form, unterschieden.
In Ausführungsformen sind auch verschiedene weitere Ausgestaltungen und zusätzliche Merkmale vorgesehen. Der Chirurg/Radiologe kann das präoperative Bildvolumen IM1 verwenden, um eine Läsion oder ein anderes Merkmal von Interesse in diesem Bild zu identifizieren oder zu lokalisieren.
Das Rendering V_p kann durch Einbeziehung weiterer anatomischer Merkmale zusätzlich zu den Gefäßen und/oder Septumobjekten, wie Lymphknoten, verbessert werden.
Der Chirurg/Radiologe kann den Eingriff planen, indem er z. B. Läsionsränder oder Schnittlinien für eine Keilresektion definiert. Die Position wichtiger Orientierungspunkte (Läsion, Ränder, Schnittlinien usw.) kann basierend auf den identifizierten Oberflächenmerkmalen geschätzt werden („mentale Registrierung“). Hinweise auf die Orientierung des Chirurgen, z. B. die Lage der Läsion oder die geplanten Schnittlinien, können als graphische Komponenten dem intraoperativen Bild IM2 überlagert werden und diese Komponenten können dann in das Rendering einbezogen werden.
Die Komponenten des Bildverarbeitungssystems IPS können als Softwaremodule oder Routinen in einer einzigen Software-Suite implementiert werden und auf einer Universalrecheneinheit PU laufen, wie z. B. einer Workstation, die mit dem Bildgeber IA1 oder IA2 verbunden ist, oder einem Servercomputer, der mit einer Gruppe von Bildgebern IA1, IA2 verbunden ist. Alternativ können die Komponenten des Bildverarbeitungssystems IPS in einer verteilten Architektur angeordnet und in einem geeigneten Kommunikationsnetz verbunden sein.
Alternativ können einige oder alle Komponenten als Hardware gestaltet sein, wie z. B. in einem entsprechend programmierten FPGA (Field-Programmable Gate Array) oder als fest verdrahteter IC-Chip.
Ein oder mehrere Merkmale des hierin offenbarten IPS können als/mit eine(r) innerhalb eines computerlesbaren Mediums kodierten Schaltung und/oder Kombinationen davon konfiguriert oder implementiert sein. Die Schaltlogik kann diskrete und/oder integrierte Schaltlogik, anwendungsspezifische integrierte Schaltlogik (ASIC), ein System-on-a-Chip (SOC) und Kombinationen davon, eine Maschine, ein Computersystem, einen Prozessor und Speicher, ein Computerprogramm einschließen.
In einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Computerprogramm oder ein Computerprogrammelement bereitgestellt, das dadurch gekennzeichnet ist, dass es dafür angepasst ist, die Verfahrensschritte des Verfahrens gemäß einer der vorhergehenden Ausführungsformen auf einem geeigneten System auszuführen.
Das Computerprogrammelement könnte daher auf einer Computereinheit gespeichert sein, die auch Teil einer Ausführungsform der vorliegenden Erfindung sein könnte. Diese Recheneinheit kann angepasst sein, um eine Durchführung der Schritte des oben beschriebenen Verfahrens durchzuführen oder zu veranlassen. Überdies kann sie dazu ausgelegt sein, die Komponenten der vorstehend beschriebenen Vorrichtung zu betreiben. Die Recheneinheit kann angepasst sein, um automatisch zu arbeiten und/oder die Befehle eines Benutzers auszuführen. Ein Computerprogramm kann in einen Arbeitsspeicher eines Datenprozessors geladen werden. Der Datenprozessor kann somit ausgerüstet sein, um das Verfahren der Erfindung auszuführen.
Dieses Ausführungsbeispiel der Erfindung umfasst sowohl ein Computerprogramm, das von Anfang an die Erfindung verwendet, als auch ein Computerprogramm, das mittels eines Updates eines bestehenden Programms ein Programm umwandelt, das die Erfindung verwendet.
Weiterhin könnte das Computerprogrammelement alle notwendigen Schritte zur Verfügung stellen, um den Prozess einer beispielhaften Ausführungsform des oben beschriebenen Verfahrens zu erfüllen.
Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein computerlesbares Medium, wie beispielsweise eine CD-ROM, bereitgestellt, wobei auf dem computerlesbaren Medium ein Computerprogrammelement gespeichert ist, welches durch den vorhergehenden Abschnitt beschrieben ist.
Ein Computerprogramm kann gespeichert und/oder auf einem geeigneten Medium (insbesondere aber nicht notwendigerweise einem nicht-transitorischen Medium) wie einem optischen Speichermedium oder einem Festkörpermedium, das zusammen mit oder als Teil anderer Hardware geliefert wird, aber auch in anderen Formen ausgegeben werden, wie etwa über das Internet oder andere drahtgebundene oder drahtlose Telekommunikationssysteme.
Das Computerprogramm kann jedoch auch über ein Netzwerk, wie das World Wide Web präsentiert werden und kann von einem solchen Netzwerk in den Arbeitsspeicher eines Datenprozessors heruntergeladen werden. Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung wird ein Medium zum Bereitstellen eines Computerprogrammelements zum Herunterladen bereitgestellt, welches eingerichtet ist, ein Verfahren gemäß einer der zuvor beschriebenen Ausführungsformen der Erfindung durchzuführen.
Es ist zu beachten, dass Ausführungsformen der Erfindung unter Bezugnahme auf verschiedene Gegenstände beschrieben werden. Insbesondere werden einige Ausführungsformen unter Bezugnahme auf Ansprüche vom Verfahrenstyp beschrieben, während andere Ausführungsformen unter Bezugnahme auf die Vorrichtungstyp-Ansprüche beschrieben werden. Ein Fachmann wird jedoch aus den obigen Ausführungen und der folgenden Beschreibung erkennen, dass außer da, wo etwas anderes angegeben ist, zusätzlich zu jeder Kombination von Merkmalen, die zu einer Art von Gegenstand gehören, auch jede Kombination zwischen Merkmalen, die zu verschiedenen Gegenständen gehören, in dieser Anwendung in Betracht gezogen wird. Jedoch können alle Merkmale kombiniert werden, um synergetische Effekte bereitzustellen, die größer sind als die einfache Summierung der Merkmale.
Auch wenn die Erfindung im Detail in den Zeichnungen und der vorangehenden Beschreibung dargestellt und beschrieben wurde, sind eine derartige Darstellung und Beschreibung als veranschaulichend oder beispielhaft und nicht einschränkend zu betrachten. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Variationen der offenbarten Ausführungsformen können vom Fachmann beim Ausführen einer beanspruchten Erfindung, aus einem Studium der Zeichnungen, der Offenbarung und der abhängigen Ansprüche verstanden und bewirkt werden.
In den Patentansprüchen schließt das Wort „umfassen“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel schließt eine Mehrzahl nicht aus. Ein einzelner Prozessor oder eine andere Einheit kann die Funktionen mehrerer in den Ansprüchen genannter Elemente erfüllen. Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander verschiedenen abhängigen Ansprüchen genannt werden, bedeutet nicht, dass eine Kombination dieser Maßnahmen nicht vorteilhaft verwendet werden kann. Jegliche Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen des Schutzumfangs auszulegen.

Claims

System zur Bildverarbeitung (IPS), umfassend: eine Eingabeschnittstelle (IN), die konfiguriert ist, um i) mindestens einen Teil eines 3D-Bildvolumens (VL) basierend auf Bilddaten einer Lunge (LG) eines Subjekts (PAT), die durch eine erste Bildgebungsmodalität (IA1) erfasst werden, und ii) ein zweites Bild (IM2) der Lunge (LG), das durch eine zweite Bildgebungsmodalität (IA2) erfasst wird, zu empfangen; einen Schichtdefinierer (LD), der konfiguriert ist, um in dem 3D-Bildvolumen ein Schichtobjekt (LO) zu definieren, das ein Muster einschließt, das ein Lungengefäß und/oder ein Septum als eine Darstellung einer Oberfläche (S) der Lunge (LG) repräsentiert; einen Renderer (REN), der konfiguriert ist, um mindestens einen Teil des Schichtobjekts (LO) in 3D in einer Renderingansicht (V_p) zur Visualisierung auf einer Anzeigevorrichtung (DD) zu rendern, und einen Abgleicher (M), der konfiguriert ist, um den Renderer (REN) anzuweisen, die Ansicht (V_p) des Schichtobjekts (LO) zu rendern, um das zweite Bild (IM2) basierend auf dem repräsentativen Muster abzugleichen.
System nach Anspruch 1, wobei das Rendern auf mindestens einen Teil des Schichtobjekts (LO) beschränkt werden kann oder wobei der Renderer (REN) konfiguriert ist, das Schichtobjekt (LO) mit einem höheren Beitrag als Nicht-Schichtelemente des Volumens (VL) zu rendern.
System nach Anspruch 1 oder 2, wobei der Schichtdefinierer (LD) konfiguriert ist, um eine Dicke der Schicht (L) basierend auf einer Eindringtiefe (d) eines Abfragesignals der zweiten Bildgebungsmodalität (IA2) zu definieren.
System nach einem der Ansprüche 1-3, wobei der Schichtdefinierer (LD) konfiguriert ist, um das Schichtobjekt (LO) basierend auf mindestens einem Lungengewebesegmentierungs-Teilvolumen zu definieren.
System nach einem der Ansprüche 1-4, wobei der Schichtdefinierer (LD) konfiguriert ist, um das Schichtobjekt (LO) basierend auf einer Tangentenfläche zu einem vordefinierten Punkt eines Lungensegmentierungs-Teilvolumens und einer Verlängerung der Tangentenfläche entlang einer lokalen Normalenrichtung der Tangentenfläche zu definieren.
System nach einem der Ansprüche 1-5, wobei der Renderer (REN) konfiguriert ist, um das Muster mit einer Farb- oder Grauwertkodierung zu rendern, die sich von seiner Umgebung unterscheidet, in die das Muster zumindest teilweise eingebettet ist.
System nach einem der Ansprüche 1-6, wobei der Renderer (REN) konfiguriert ist, um eine Transparenz des gerenderten Schichtobjekts (LO) einzustellen, um, bei einer gegebenen Rendering-Position (p), einen gegenüberliegenden distalen Abschnitt (Vxd) des Schichtobjekts (LO) zu verdecken, oder wobei das Schichtobjekt (LO) beschnitten wird, um auszuschließen, dass der distale Abschnitt gerendert wird.
System nach einem der Ansprüche 1-7, das eine Anzeigevorrichtungsschnittstelle (DV) einschließt, die konfiguriert ist, um das Anzeigen einer Visualisierung der gerenderten Ansicht (Vp) und des zweiten Bildes (IM2) auf der Anzeigevorrichtung DD oder auf zwei Anzeigevorrichtungen zu bewirken.
System nach einem der Ansprüche 1-8, wobei die zweite Bildgebungsmodalität (IA2) in der Lage ist, dem zweiten Bild (IM2), basierend auf mindestens einem vordefinierten Material, das in der Lunge vorhanden ist, Kontrast zu verleihen, wobei der Renderer (REN) konfiguriert ist, einen Abschnitt in der Ansicht (Vp), der dem Material entspricht, mit Farb- oder Grauwerten zu kodieren.
System nach einem der vorhergehenden Ansprüche, das mindestens eine der ersten oder zweiten Bildgebungsmodalitäten und/oder die mindestens eine Anzeigevorrichtung (DD) einschließt.
Verfahren zur Bildverarbeitung, umfassend die Schritte: Empfangen (S410) i) mindestens eines Teils eines 3D-Bildvolumens (VL) einer Lunge (LG) eines Subjekts (PAT) basierend auf Bilddaten, die durch eine erste Bildgebungsmodalität (IA1) erfasst werden, und ii) eines zweiten Bildes (IM2) der Lunge (LG), das durch eine zweite Bildgebungsmodalität (IA2) erfasst wird; Definieren (S420), in dem 3D-Bildvolumen, eines Schichtobjekts (LO), das ein Muster einschließt, das ein Lungengefäß und/oder ein Septum als eine Darstellung einer Oberfläche (S) der Lunge (LG) repräsentiert; Rendern (S430) mindestens eines Teils des Schichtobjekts (LO) in 3D in einer Renderingansicht (Vp) zur Visualisierung auf einer Anzeigevorrichtung (DD), um das zweite Bild basierend auf dem repräsentativen Muster abzugleichen.
Verfahren nach Anspruch 11, wobei das Rendern (S430) auf mindestens einen Teil des Schichtobjekts (LO) beschränkt werden kann oder das Rendern (S430) des Schichtobjekts (LO) mit einem höheren Beitrag als Nicht-Schichtelemente des Volumens (VL) erfolgt.
Computerprogrammelement, das, wenn es von mindestens einer Verarbeitungseinheit (PU) ausgeführt wird, so eingerichtet ist, dass es die Verarbeitungseinheit (PU) veranlasst, das Verfahren nach Anspruch 10 oder 11 durchzuführen.
Computerlesbares Medium, auf dem das Programmelement nach Anspruch 13 gespeichert ist.