DE102022132100A1

DE102022132100A1 - Verfahren zur Markierung von Information in digitalen Bildern

Info

Publication number: DE102022132100A1
Application number: DE102022132100.2A
Authority: DE
Inventors: Lukas Buschle; Tasso Ströhle
Original assignee: Karl Storz SE and Co KG
Current assignee: Karl Storz SE and Co KG
Priority date: 2022-12-02
Filing date: 2022-12-02
Publication date: 2024-06-13
Also published as: WO2024115724A1

Abstract

Ein Verfahren zur Markierung von Information in digitalen Bildern einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen einer Serie von digitalen Bildern wenigstens eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufweist und wenigstens ein Teil der Optik bewegbar ist, umfassend das Markieren von Informationen in einem digitalen Bild, Bestimmen und Speichern von Positionsinformationen der markierten Informationen und Augmentieren der Markierung entsprechenden Landmarke oder Bewegungsanweisung auf nachfolgenden digitalen Bildern.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Markierung von Information in digitalen Bildern einer Bildgebungsvorrichtung bei der wenigstens ein Teil der Optik bewegbar ist.
Hintergrund
Bildgebungsvorrichtungen werden heutzutage in nahezu allen Bereichen des täglichen Lebens eingesetzt. Anwendungen gehen hier von der Dokumentation, der Unterstützung der visuellen Information, bis hin zum Ersatz der direkten visuellen Wahrnehmung durch den Menschen. In Bezug auf letzteres können aufgrund der stetigen Weiterentwicklung in den Bereichen der Optik, der Sensorik, sowie der Datenleitung und -verarbeitung, Bildgebungsvorrichtungen in verschiedensten Anwendungen den direkten visuellen Zugang durch den Menschen ersetzen. Beispiele hierfür sind ferngesteuerte Systeme, wie zum Beispiel Roboteranwendungen, oder aber auch der Einsatz von Endoskopsystemen, bei denen kleine Kameras, oft auch in Kombination mit Werkzeugen, in für den Menschen nicht zugängliche Bereiche eingeführt werden und so minimalinvasive Eingriffe durchgeführt werden können. Durch Verwendung wenigstens teilweise bewegbarer Optiken können verschiedene Betrachtungsbereiche eines ausgedehnten Gegenstandes erfasst, bzw. betrachtet werden.
Problematische bei der Anwendung ist grundsätzlich die Orientierung in den durch die Bewegung der Bildgebungsvorrichtung erfassten Betrachtungsbereichen. Dies betrifft nicht nur die räumliche Orientierung im Allgemeinen sondern auch das Widerauffinden bestimmter Positionen oder Gegenstände über die verschiedenen Betrachtungsbereiche hinaus. Dies zeigt sich in besonders anschaulicher Art und Weise am Beispiel von minimalinvasiven medizinischen Eingriffen. Hier gibt es aktuell keine Kontrolle darüber, wie viele Objekte in den Körper des Patienten eingebracht wurden und wie viele Objekte den Körper (wieder) verlassen. Insbesondere beim Verkleinern von Gewebe besteht die latente Gefahr, dass Gewebereste nach Beendigung der Operation im Körper zurückgelassen werden. Dies kann durch mangelnde Orientierung, d.h. das Objekt kann schlichtweg nicht wieder aufgefunden werden, und/oder auch durch mangelnde Dokumentation bedingt sein.
Zusammenfassung der Erfindung
Aufgabe der vorliegenden Erfindung ist es, die im Stand der Technik bekannten Nachteile wenigstens teilweise zu überwinden. Die vorstehende Aufgabe wird durch ein erfindungsgemäßes Verfahren gemäß Anspruch 1, eine Vorrichtung gemäß Anspruch 14 sowie durch ein Computerprogramm gemäß Anspruch 15 gelöst. Bevorzugte Ausgestaltungsformen der Erfindung sind Gegenstand der entsprechenden Unteransprüche.
Entsprechend offenbart die vorliegende Erfindung ein Verfahren zur Markierung von Information in digitalen Bildern einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen einer Serie von digitalen Bildern wenigstens eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufweist und wenigstens ein Teil der Optik bewegbar ist. Das erfindungsgemäße Verfahren umfasst das Aufnehmen eines ersten digitalen Bildes eines ersten Betrachtungsbereiches in einer ersten räumlichen Position des bewegbaren Teils der Optik, in dem wenigstens eine erste Information enthalten ist, das Markieren der ersten Information durch setzen wenigstens einer ersten Landmarke, das Bestimmen von Positionsinformationen der ersten Landmarke, das Generieren einer mit der ersten Landmarke verknüpften ersten eindeutigen Kennung, das Speichern der eindeutigen Kennung zusammen mit den zugehörigen Positionsinformationen, das Aufnehmen eines zweiten digitalen Bildes eines zweiten Betrachtungsbereiches in einer zweiten räumlichen Position des bewegbaren Teils der Optik, das Bestimmen der Position der ersten Landmarke in Bezug auf den zweiten Betrachtungsbereich, das Augmentieren der ersten Landmarke auf das zweite digitale Bild, wenn die erste Information in dem zweiten Betrachtungsbereich enthalten ist, oder das Augmentieren von wenigstens einer Bewegungsanweisung zur Hinführung des bewegbaren Teils der Optik zu einer räumlichen Position desselben, in der die erste Information in einem dritten Betrachtungsbereich enthalten ist, auf das zweite digitale Bild, wenn die erste Information in dem zweiten Betrachtungsbereich nicht enthalten ist. Das Augmentieren auf ein digitales Bild kann auf einer geeigneten Anzeigeeinheit, wie zum Beispiel einem Monitor, erfolgen.
Eine Bildgebungsvorrichtung im Sinne der vorliegenden Erfindung kann jede technische und/oder elektronische Vorrichtung sein, welche geeignet ist, ein Bild eines Betrachtungsbereiches aufzunehmen, weiterzuverarbeiten und/oder weiterzuleiten und beispielsweise auf einem Bildschirm anzuzeigen. Medizinische Bildgebungsvorrichtungen im Sinne der vorliegenden Erfindung können alle dem Fachmann bekannten Arten von Endoskopen, insbesondere Dual-Endoskope und Stereo-Endoskope sein. Ein Endoskop ist dabei eine zumeist schmale und länglich ausgebildete Bildgebungsvorrichtung, welche geeignet ist, diese in einen Hohlraum oder durch eine zumeist kleine Öffnung einzuführen und innerhalb des Hohlraums und/oder des hinter der kleinen Öffnung liegenden Bereiches ein Bild von einem Betrachtungsbereich mittels wenigstens einer Kamera oder wenigstens eines Bildsensors aufzunehmen.
Die Bewegbarkeit wenigstens eines Teils der Optik der Bildgebungsvorrichtung im Sinne der vorliegenden Erfindung kann die Bewegung der gesamten Bildgebungsvorrichtung oder eines Teils der Bildgebungsvorrichtung, insbesondere in Bezug auf den zu betrachtenden Gegenstand, bedeuten, sofern durch die Bewegung ein wenigstens teilweise anderer Betrachtungsbereich eines ausgedehnten Gegenstandes erfasst wird. Entsprechend umfasst die Bewegbarkeit wenigstens eines Teils der Optik auch eine Bewegung des zu betrachtenden Gegenstands oder eines Teiles des zu betrachtenden Gegenstands in Bezug auf die Optik, unter der Voraussetzung, dass durch diese Bewegung ein wenigstens teilweise anderer Betrachtungsbereich eines ausgedehnten Gegenstandes erfasst wird. Die Bewegbarkeit umfasst insbesondere die dem Fachmann bekannten Möglichkeiten der Bewegung endoskopischer Vorrichtungen, insbesondere im Kontext minimalinvasiver chirurgischer Eingriffe. Hierbei kann insbesondere das gesamte Endoskop bewegt werden oder auch Teile des Endoskops, wie beispielsweise eine Abwinkelung der Endoskopspitze. Die Bewegbarkeit im Sinne der vorliegenden Erfindung kann insbesondere auch eine Drehung sein.
Ein Betrachtungsbereich im Sinne der vorliegenden Erfindung beschreibt den Bereich, das Volumen oder das Areal, welcher oder welches mittels der Bildgebungsvorrichtung betrachtet und von welcher oder welchem ein entsprechendes digitales Bild erzeugt werden soll und kann dem Blickfeld der Bildgebungsvorrichtung entsprechen. Ein solcher Betrachtungsbereich im Kontext medizinischer Bildgebungsvorrichtungen kann dabei beispielsweise ein Organ, ein Knochen, ein Teilbereich eines menschlichen oder tierischen Körpers oder ein weiterer Bereich von Interesse für eine entsprechende Betrachtung sein.
Eine Information im Sinne der vorliegenden Erfindung ist jedweder durch eine Landmarke markierbarer Aspekt eines Betrachtungsbereiches, insbesondere Positionen, Strukturen, Gegenstände, Gewebe und dergleichen.
Augmentieren im Sinne der vorliegenden Erfindung ist ein Anreichern der Darstellung von digitalen Bildern mit jedweden digitalen Informationen. Entsprechend kann das Augmentieren das Einblenden von graphischen Elementen mit einem Informationsgehalt, insbesondere eines einer Landmarke entsprechenden graphischen Elements oder eines einer Bewegungsanweisung entsprechenden graphischen Elements, darstellen.
Eine Bewegungsanweisung im Sinne der vorliegenden Erfindung sind Angaben wie die Bildgebungsvorrichtung oder wenigstens ein Teil der Bildgebungsvorrichtung zu bewegen ist, um eine vorbestimmte Position, insbesondere eine Position in der eine mit einer Landmarke verbundene Information in einem Betrachtungsbereich enthalten ist, zu erreichen ist. Des Weiteren können die Bewegungsanweisungen auch Steuerbefehle für eine motorische Bewegung der Bildgebungsvorrichtung aufweisen; wenn diese Steuerbefehle an eine motorisierte Bildgebungsvorrichtung gesendet und auf dieser ausgeführt werden, wird die Bildgebungsvorrichtung in eine Position geführt, in der die entsprechende markierte Information im Blickfeld der Bildgebungsvorrichtung ist und damit im einem Betrachtungsbereich enthalten ist.
In Ausführungsformen des erfindungsgemäßen Verfahrens können beliebig viele Informationen markiert und entsprechend beliebig viele Landmarken gesetzt werden. Jede Landmarke kann dann unter einer eigenen eindeutigen Kennung gespeichert werden. Wenn mehrere Informationen markiert werden, können die entsprechenden Landmarken kategorisiert und mit der daraus resultierenden Zuordnung gespeichert werden.
In Ausführungsformen des erfindungsgemäßen Verfahrens können aktive Landmarken, also zum Beispiel Landmarken die noch nicht gelöscht oder mit einem Bearbeitungsauftrag versehen sind, angezeigt werden, wobei die Augmentierung neben der Anzahl von aktiven Landmarken auch fakultativ ein Bild der zur Landmarke gehörenden Information anzeigt.
In Ausführungsformen des erfindungsgemäßen Verfahrens kann der bewegliche Teil der Optik Inertialsensoren aufweisen, und das Verfahren das Bestimmen von Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik basierend auf Inertialsensordaten umfassen. Die Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik können des Weiteren auch die räumliche Position in Bezug auf einen Referenzpunkt umfassen. In einer bevorzugten Ausführungsform kann die Bildgebungsvorrichtung ein Endoskopsystem und der Referenzpunkt der Trokar sein. Hierbei kann optional auch bestimmt werden, wie weit das Endoskopsystem durch den Trokar geführt wird und so die absolute Position eines Teils des Endoskopsystems, wie zum Beispiel der Spitze des Endoskops, in Bezug auf den Referenzpunkt bestimmt werden und als Positionsinformation in dem erfindungsgemäßen Verfahren verwendet werden. Hierbei kann der Trokar entsprechende Sensoren aufweisen.
In Ausführungsformen des erfindungsgemäßen Verfahrens kann das Nachführen von Landmarken mittels Inertialsensoren, elektromagnetischem Tracking, optischem Tracking, durch Stereorekonstruktion und optionaler Trajektorienberechnung, durch Tiefenbestimmung basierend auf Verfahren der künstlichen Intelligenz, durch Flussberechnung basierend auf Verfahren der künstlichen Intelligenz und/oder weiterer Computervision-Algorithmen erfolgen, wobei auch Kombinationen verschiedener oder aller Verfahren möglich sind.
Inertialsensoren im Sinne der vorliegenden Erfindung umfassen insbesondere Beschleunigungssensoren und Drehratensensoren die zusammen eine inertiale Messeinheit bilden, mittels derer bis zu sechs mögliche kinematische Freiheitsgrade erfasst werden können. Dadurch kann eine Bestimmung der Bewegung und, daraus abgeleitet auch eine Bestimmung der Position des mit den Sensoren verbundenen Elementes, insbesondere des bewegbaren Teils der Optik, erfolgen. Im Falle eines starren Endoskops, können die Sensoren an jedwedem Abschnitt des Endoskops angeordnet sein. Wenn das Endoskop in sich beweglich ausgeführt ist, sind die Sensoren bevorzugt an der Endoskopspitze angeordnet.
Für elektromagnetisches Tracking kann der bewegbare Teil der Optik mit einem oder mehreren Feldsensoren ausgestattet und somit markiert werden. Mittels eines Feldgenerators werden elektromagnetische Felder erzeugt, welche von dem oder den Feldsensor(en) gemessen werden können. Auf der Basis mehrerer Feldmessungen können die Lage und die Ausrichtung des Feldsensors im Raum und damit auch die Ausrichtung und die Lage des markierten, bewegbaren Teils der Optik mittels einer entsprechenden Mess- und Recheneinheit bestimmt werden. Durch Verwendung mehrerer Feldsensoren können verschiede und/oder zusätzliche Instrumente oder Gegenstände markiert und entsprechen räumlich nachverfolgt und zur Markierung von Informationen mit Landmarken verwendet werden. In weiteren Ausführungsformen können auch von der Bildgebungsvorrichtung unabhängige Gegenstände, wie beispielsweise im Falle medizinischer Eingriffe, Gegenstände im Operationssaal und/oder der zu behandelnde Patient mit Feldsensoren markiert werden. Im letzteren Fall kann beispielsweise eine Bewegung und/oder Umlagerung des Pateienten erkannt und die Bestimmung der Position der Landmarken oder der Bildgebungsvorrichtung mit einbezogen werden, beziehungsweise in den Bewegungsanordnungen berücksichtig werden.
In bevorzugten Ausführungsformen der Verwendung von elektromagnetischem Tracking und/oder Inertialsensoren kann softwareseitig eine Hand-Auge-Kalibrierung durchgeführt werden, die erkennt wie das Bildkoordinatensystem zum Trackerkoordinatensystem bzw. zu der basierend auf den Inertialsensoren bestimmten Position liegt, beziehungsweise um die Trackingkoordinaten oder Inertialsensorkoordinaten in Bildkoordinaten umrechnen zu können. Für die Kalibrierung kann wenigstens eine Aufnahme eines bekannten Objektes gemacht werden. Dessen Lage kann dann im Bild mit Segmentierungs- und Registrierungsverfahren ermittelt werden, woraus sich anschließend die Kalibrierungstransformation bestimmen lässt.
Für Stereorekonstruktionen kann berechnet werden, welcher Pixel im linken Bild denselben Objektpunkt zeigt wie der Pixel im rechten Bild. Dabei ist eine Kamerakalibrierung notwendig. Basierend auf der Stereorekonstruktion kann für jedes Pixel eine 3D Koordinate berechnet werden.
In bevorzugten Ausführungsformen kann die aus der Stereorekonstruktion resultierende Information in Kombination mit dem oben genannten Tracking (optisch, elektromagnetisch, inertialsensorbasiert) verwendet werden, um den exakten 3D Punkt der markierten Information zu bestimmen und diesen somit vereinfacht und mit höherer Genauigkeit wieder aufzufinden. Entsprechend kann die Position der Landmarke, und somit die mit der Landmarke markierte Information genauer bestimmt und dokumentiert werden.
In bevorzugten Ausführungsformen kann durch die Stereorekonstruktion eine 3D Punktwolke, optional zuzüglich zugehöriger Farbinformationen erzeugt werden, wobei die Stereorekonstruktion vorzugsweise in Echtzeit erfolgen kann. Durch eine Fusion zweier zeitlich aufeinanderfolgender Punktwolken kann eine Schätzung der Kamerabewegung erfolgen, wodurch eine Trajektorie erzeugt werden kann, welche wiederum verwendet werden kann, um mittels Landmarken markierte Informationen wiederzufinden, beziehungsweise auf Grundlage derer entsprechende Informationen augmentiert werden können. Entsprechend können durch die um Trajektorienberechnung erweiterte Stereorekonstruktion die vorstehend beschriebenen Trackingverfahren erweitert oder gar substituiert werden.
In bevorzugten Ausführungsformen kann - ähnlich der Stereorekonstruktion - auch in monoskopischen Bildern die Tiefe bestimmt beziehungsweise geschätzt werden. Durch Anwendung entsprechender, vorzugsweise auf künstlicher Intelligenz basierender mathematischer Verfahren, können die Stereorekonstruktionen ersetzt bzw. die Anwendung auf monoskopische Kameras erweitert werden. Entsprechend kann durch die Tiefenbestimmung die Position von Landmarken genauer bestimmt und dokumentiert werden.
Optisches Tracking im Sinne der vorliegenden Erfindung ist insbesondere das Orten optischer Marker mittels einer Kamera. Hier können entsprechende Markierungen (Marker) an dem nachzuverfolgenden Teil der Bildgebungsvorrichtung angeordnet werden, wobei eine Sichtlinie zwischen der Kamera und dem georteten Marker erforderlich ist. Bei der Verwendung starrer Endoskope können entsprechende Marker an Abschnitten des Endoskops, die nicht in den Arbeitsbereich, wie beispielsweise dem Körperinneren, eingebracht werden, angeordnet werden und von einer externen Kamera, wie beispielsweise einer Raumkamera erfasst werden. Da die Geometrie des Endoskops bekannt ist, kann über Tracking der entsprechenden Marker die Position der Kamera und damit das Blickfeld der Kamera bestimmt werden. Hierbei können in bevorzugten Ausführungsformen auch weitere Objekte, insbesondere auch ein Patient, markiert werden, und die entsprechenden Positionsinformationen miteinbezogen werden.
Für Flussberechnungen im Sinne der vorliegenden Erfindung können auf dem Fachmann bekannten computervision Algorithmen oder auch auf entsprechenden Algorithmen der künstlichen Intelligenz beruhen. Das Berechnen eines optischen Flusses im Bild kann verwendet werden, um Landmarken zeitlich und in Abhängig der Bewegung (im Verhältnis des zu betrachtenden Gegenstands zur Bildgebungsvorrichtung, also hinsichtlich der Veränderung des Betrachtungsbereiches) zu verfolgen. In bevorzugten Ausführungsformen können die Flussberechnung zur Steigerung der Rechengeschwindigkeit und Genauigkeit und/oder zur Anpassung an zur Verfügung stehende Rechenleistung durch Auflösungspyramiden durchgeführt werden.
In einer Ausführungsform des erfindungsgemäßen Verfahrens können digitalen Bildern von Betrachtungsbereichen jeweilige Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik zugeordnet werden. So kann beispielsweise eine Position eines digitalen Bildes eines Betrachtungsbereichs einer absoluten Position in Bezug auf einen Referenzpunkt zugeordnet werden.
In Ausführungsformen des erfindungsgemäßen Verfahrens kann die Positionsinformation der ersten Landmarke in Bezug auf die räumliche Position des bewegbaren Teils der Optik bestimmt werden und/oder der Pixelposition der ersten Landmarke im ersten digitalen Bild entsprechen. In bevorzugten Ausführungsformen können die Positionsinformationen der gesetzten Landmarken sowohl die räumliche Position des bewegbaren Teils der Optik, die einem Betrachtungsbereich entspricht in dem die entsprechende Information enthalten ist, umfassen, als auch die Pixelposition der entsprechenden Landmarke im jeweiligen digitalen Bild des jeweiligen Betrachtungsbereichs. Hierbei kann die Pixelinformation wie vorstehend beschrieben basierend auf Stereorekonstruktion und/oder entsprechender algorithmischer Tiefenbestimmung erfolgen. Die beiden Positionsbestandteile, also die räumliche Position und die Pixelposition, können getrennt voneinander und/ oder auch in Kombination miteinander gespeichert werden. Auf diese Weise können absolute Positionswerte der Landmarken in Bezug auf einen Referenzpunkt generiert und auch gespeichert werden.
In Ausführungsformen des erfindungsgemäßen Verfahrens kann die Bestimmung der Position der ersten Landmarke in Bezug auf den zweiten Betrachtungsbereich über die Berechnung des optischen Flusses basierend auf einer Serie von digitalen Bildern und/oder über die Nachverfolgung der Position des bewegbaren Teils der Optik erfolgen. In bevorzugten Ausführungsformen kann die Flussberechnung zur Steigerung der Rechengeschwindigkeit und Genauigkeit und/oder zur Anpassung an zur Verfügung stehende Rechenleistung durch Auflösungspyramiden durchgeführt werden.
In weiteren Ausführungsformen des erfindungsgemäßen Verfahrens kann das Speichern der eindeutigen Kennung zusammen mit den zugehörigen Positionsinformationen auch eine Beschreibung und/oder Kategorisierung der markierten Information enthalten. Die Beschreibung und/oder Kategorisierung kann über direkte Benutzereingaben, beispielsweise über Benutzereingaben über entsprechende Schnittstellen erfolgen. In bevorzugten Ausführungsformen kann die Beschreibung und/oder Kategorisierung auf einer computergestützten Objekterkennung, insbesondere auf einer durch künstliche Intelligenz gestützten Objekterkennung erfolgen. Hierbei kann dem Benutzer nach dem Setzen einer Landmarke zum Markieren einer Information ein Beispiel für eine Beschreibung und/oder Kategorisierung dargestellt werden, die der Benutzer dann durch geeignete Eingaben ablehnen oder bestätigen kann. In bevorzugten Ausführungsformen können dem Benutzer auch mittels Objekterkennung Vorschläge für zu markierende Informationen gemacht werden, die der Benutzer dann ablehnen oder annehmen kann. Durch Annahme wird eine entsprechende Landmarke gesetzt und das erfindungsgemäße Verfahren fortgesetzt.
In bevorzugten Ausführungsformen kann ein künstlicher Intelligenzalgorithmus kann verwendet werden, um eine Segmentierung eines digitalen Bildes, insbesondere eines endoskopischen Bildes durchzuführen. Durch Segmentierung kann die Gesamtheit eines durch die Benutzereingabe mit einer Landmarke versehenen Objekts erkannt werden und weiteren Verfahrensschritten zugrunde gelegt werden. Entsprechend kann dem Benutzer nach Selektion der Landmarke automatisch die Bezeichnung des entsprechend Objekts vorgeschlagen werden. Hierzu wird die vorgesagte Klasse des Pixels, der als Landmarke ausgewählt wurde, verwendet. Die Landmarke kann dann mit entsprechenden Kategorisierungs- und/oder Objektinformationen assoziiert und gespeichert werden. Alternativ oder in Ergänzung dazu kann durch die Segmentierung auch eine Markierung eines Objekts in seiner Gesamtheit erfolgen, so dass eine Flächenlandmarke erstellt werden kann. Entsprechend können Augmentierenden von Bewegungsanordnungen so bestimmt werden, dass das gesamte Objekt in das Blickfeld der Bildgebungsvorrichtung geführt wird. Hierbei sind auch Kombinationen von punktuellen Landmarken, die der eigentlichen Benutzereingabe entsprechen, und Flächenlandmarken, die dem Segmentierungsergebnis entsprechen, möglich. In bevorzugten Ausführungsformen erfolgt eine Segmentierung mit einer U-Net-Struktur eines convolutional neural networks (CNN). Durch diese Objekterkennung können Objekte in einem Bild klassifizieren und gleichzeitig ihre Position bestimmen.
In weiteren Ausführungsformen des erfindungsgemäßen Verfahrens kann die wenigstens eine Landmarke gelöscht und/oder die zugehörige Augmentierung unterbunden werden.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann das Setzen, Löschen und/oder Unterbinden der Augmentierung der wenigstens einen Landmarke durch erkennen von Benutzereingaben und/oder durch automatische Objekterkennung erfolgen. Geeignete Benutzereingaben im Sinne der vorliegenden Erfindung können über Tastatur, Fußschalter, Joystick, Spracherkennung oder auch Gestenbewegung mit einem Instrument im Blickfeld einer Kamera, insbesondere im Blickfeld der Bildgebungsvorrichtung ausgelöst werden. Die Auswahl von Informationen zur Markierung oder die Auswahl von bereits markierten Informationen kann auf die Mitte des Betrachtungsbereiches bezogen sein oder im Betrachtungsbereich frei wählbar sein, wobei in bevorzugten Ausführungsformen ein Markierungselement, wie beispielsweise ein Fadenkreuz, in das Bild augmentiert wird. In bevorzugten Ausführungsformen kann durch die Benutzereingabe eine in dem Bereich des Markierungselements befindliche Information oder Landmarke gesetzt, beziehungsweise zur weiteren Bearbeitung wie etwa Löschen oder Kategorisieren, ausgewählt werden. In weiteren, bevorzugten Ausführungsformen, insbesondere im Kontext minimalinvasiver, endoskopbasierter Eingriffe, können auch in den Arbeitsbereich eingebrachte Instrumente und/oder Werkzeuge, insbesondere deren Spitze, als Ausgangspunkt der Gestensteuerung verwendet werden und die Bildgebungsvorrichtung, wie zum Beispiel die Endoskopkamera als Mittel zur Erfassung der Geste verwendet werden.
In Ausführungsformen des erfindungsgemäßen Verfahrens können die Benutzereingaben Eingaben über Benutzerschnittstellen, akustische Signale und/oder direkte Gestenbewegungen mit einem Instrument im Betrachtungsbereich oder indirekte Gestenbewegungen durch Bewegung des bewegbaren Teils der Optik umfassen.
In Ausführungsformen des erfindungsgemäßen Verfahrens können Landmarken automatisch gelöscht, zur Löschung vorgeschlagen, deaktiviert oder zur Deaktivierung vorgeschlagen werden, wenn das zugeordnete Objekt aus dem Arbeitsbereich entfernt wurde. Beispielsweise können im Kontext minimalinvasiver medizinischer Eingriffe Landmarken die zu entfernenden Objekten zugeordnet sind entsprechend behandelt werden, wenn die jeweiligen Objekte aus dem Arbeitsbereich entfernt wurden. Eine entsprechende Erkennung kann über entsprechende computerbasierte Objekterkennung erfolgen.
Aktive Landmarken im Sinne der vorliegenden Erfindung sind Informationsmarkierungen, die in mit wenigstens einer weitergehenden Anweisung versehen sind, die beschreibt, was mit der entsprechenden markierten Information gemacht werden soll. Beispielsweise kann ein Objekt so markiert werden, dass es aus dem Arbeitsbereich entfernt werden soll. Entsprechend sind deaktivierte Landmarken solche, bei denen die weitergehende Anweisung bereits durchgeführt wurde. Des Weiteren können Landmarken mit Gültigkeitsparametern, wie beispielsweise einer Gültigkeitsdauer, Objektübereinstimmung oder dergleichen versehen werden. Bei Abweichungen von den Gültigkeitsparametern können entsprechende Informationen in der Datenbank angezeigt werden und/oder auch in digitalen Bildern augmentiert werden.
In Ausführungsformen des erfinderischen Verfahrens können auch zeitlich auseinanderliegende digitale Bilder sich entsprechender Betrachtungsbereiche miteinander verglichen werden. Wenn hierbei signifikante, d.h. über einem vordefinierten Schwellenwert liegende Veränderungen erkannt werden, können entsprechende Angaben, wie beispielsweise eine Warnung, in digitalen Bildern augmentiert werden.
In Ausführungsformen des erfindungsgemäßen Verfahrens können digitale Bilder verschiedener Betrachtungsbereiche mittels „Stitching“, also dem Erstellen eines großen digitalen Bildes aus verschiedenen kleineren digitalen Bildern, die Ausschnitte des ausgedehnten Gegenstandes zeigen, zu einem zusammengesetzten Bild zusammengefügt werden. Das Aneinanderfügen der digitalen Bilder kann hierbei über Überlappungsbereiche der einzelnen digitalen Bilder und/oder basierend auf der Position bzw. der Bewegung der Bildwiedergabevorrichtung erfolgen. In bevorzugten Ausführungsformen können Betrachtungsbereiche des ausgedehnten Gegenstandes in Positionen des bewegbaren Teils der Optik, in denen keine oder mangelhafte digitale Bilder aufgenommen wurden, in dem zusammengesetzten Bild durch Platzhalterbilder in entsprechender Position ersetzt werden. Diese Platzhalterbilder können in dem zusammengefügten Bild als solche gekennzeichnet werden, beispielsweise dadurch, dass kein Inhalt, ein neutraler Farbton oder ähnliches angezeigt werden. Augmentierungen können gegebenenfalls auch in Platzhalterbildern angezeigt und über Bildgrenzen hinweg angezeigt werden.
Die vorliegende Erfindung ist des Weiteren auf eine Vorrichtung umfassend eine Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen einer Serie von digitalen Bildern wenigstens eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufweist und wenigstens ein Teil der Optik bewegbar ist, und eine Steuereinheit gerichtet, wobei die Vorrichtung konfiguriert ist um die vorstehend beschriebenen Verfahren gemäß auszuführen.
In bestimmten Ausführungsformen ist die Steuereinheit ein Computersystem, das konfiguriert ist, um einen oder mehrere Schritte eines oder mehrerer hierin beschriebener oder veranschaulichter Verfahren durchzuführen. In bestimmten Ausführungsformen stellen ein oder mehrere Computersysteme hierin beschriebene oder veranschaulichte Funktionalität bereit. In bestimmten Ausführungsformen führt eine auf einem oder mehreren Computersystemen ausgeführte Software einen oder mehrere Schritte eines oder mehrerer hierin beschriebener oder veranschaulichter Verfahren durch oder stellt hierin beschriebene oder veranschaulichte Funktionalität bereit. Die Steuereinheit kann eine Speichereinrichtung für Daten oder Befehle umfassen. Zum Beispiel und nicht beschränkend kann die Speichereinrichtung ein Festplattenlaufwerk (HDD), ein Diskettenlaufwerk, einen Flash-Speicher, eine optische Platte, eine magnetooptische Diskette, ein Magnetband oder ein Universal-Serial-Bus(USB)-Laufwerk oder eine Kombination von zwei oder mehr von diesen umfassen. Die Speichereinrichtung kann entfernbare oder nicht entfernbare (oder feste) Datenträger umfassen, wo angemessen. Die Speichereinrichtung kann innerhalb oder außerhalb des Computersystems befindlich sein. In bestimmten Ausführungsformen ist die Speichereinrichtung ein nichtflüchtiger Festkörperspeicher. In bestimmten Ausführungsformen umfasst die Speichereinrichtung einen Festwertspeicher (ROM). Die Speichereinrichtung kann eine oder mehrere Speicherungssteuereinheiten umfassen, die die Kommunikation zwischen dem Prozessor und der Speichereinrichtung erleichtern. Ferner, kann die Speichereinrichtung eine oder mehrere Speichereinrichtungen umfassen. Die Steuereinheit kann ferner direkt oder indirekt mit einer Anzeigeeinheit verbunden sein.
Die vorliegende Erfindung ist des Weiteren auf ein Computerprogramm gerichtet, wobei das Computerprogramm Befehle aufweist, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.
Der Umfang dieser Offenbarung schließt alle Änderungen, Ersetzungen, Variationen, Abwandlungen und Modifikationen an den hierin beschriebenen oder veranschaulichten Ausführungsbeispielen ein, die ein durchschnittlicher Fachmann begreifen würde. Der Schutzumfang dieser Offenbarung ist nicht auf die hierin beschriebenen oder veranschaulichten Ausführungsbeispiele beschränkt. Obwohl diese Offenbarung jeweilige Ausführungsformen hierin als bestimmte Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte umfassend beschreibt und veranschaulicht, können zudem beliebige dieser Ausführungsformen beliebige Kombinationen oder Permutationen beliebiger Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte, die irgendwo hierin beschrieben oder veranschaulicht sind, umfassen, die ein durchschnittlicher Fachmann begreifen würde. Ein Verweis in den angehängten Patentansprüchen darauf, dass ein Verfahren oder eine Vorrichtung oder eine Komponente einer Vorrichtung oder ein System zum Durchführen einer bestimmten Funktion angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist, schließt des Weiteren dieses Gerät, dieses System oder diese Komponente ein, unabhängig davon, ob es/sie oder diese bestimmte Funktion aktiviert, eingeschaltet oder freigegeben ist, solange dieses Gerät, dieses System oder diese Komponente dazu angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist. Obwohl diese Offenbarung bestimmte Ausführungsformen als bestimmte Vorteile bereitstellend beschreibt oder veranschaulicht, können zudem bestimmte Ausführungsformen keine, einige oder alle diese Vorteile bereitstellen.
Kurzbeschreibung der Abbildungen

1 zeigt schematisch den Ablauf des erfindungsgemäßen Verfahrens.
2 zeigt schematisch einen Speichereintrag des erfindungsgemäßen Verfahrens.
3 zeigt das Verfahren zur Augmentierung gemäß eines Ausführungsbeispiels.

Die beiliegenden Zeichnungen veranschaulichen beispielhafte Ausführungsformen der Erfindung und dienen der beispielhaften Erläuterung der Grundsätze der Erfindung
Detaillierte Beschreibung
Die vorliegende Erfindung wird nun mit Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben. Das Verfahren kann jedoch in vielen verschiedenen Formen verkörpert werden und sollte nicht auf die hier dargelegten Ausführungsformen beschränkt ausgelegt werden. Es sei angemerkt, dass die Figuren zur Veranschaulichung der allgemeinen Merkmale der in gewissen Ausführungsformen genutzten Verfahren vorgesehen sind. Diese Figuren geben jedoch die exakte Struktur oder das exakte Leistungsmerkmal einer gegebenen Ausführungsform möglicherweise nicht exakt wieder. Zudem bezeichnen gleiche Bezugszeichen in den Figuren entsprechende Teile über die verschiedenen Ansichten oder Ausführungsformen hinweg.
Die vorliegende Erfindung zielt auch darauf ab, es einem Nutzer, beispielsweise einem Arzt der eine minimalinvasive Operation durchführt, zu ermöglichen intraoperative Landmarken zu setzen. Diese Landmarken markieren Informationen, wie zum Beispiel bestimmte Objekte, die der Arzt im Laufe der Operation entfernen möchte. Es wird beispielsweise eine Liste von Landmarken gespeichert, die der Arzt entfernen möchte. Die Position der Landmarken wird durch optisches Tracking und/oder 3D-Positionsbestimmung entsprechend der Kamera und Objektbewegung mitgeführt, auch wenn das Objekt den Sichtbereich der Kamera verlässt.
zeigt hierbei eine schematische Darstellung des erfindungsgemäßen Verfahrens. Erfindungsgemäß werden mittels einer Bildgebungsvorrichtung, insbesondere einer medizinischen Bildgebungsvorrichtung wie ein Endoskopsystem, digitale Bilder eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufgenommen. Über Bewegung wenigstens von Teilen der Optik der Bildgebungsvorrichtung können verschiedene Betrachtungsbereiche erfasst und damit unterschiedliche Bereiche des ausgedehnten Gegenstandes in Form digitaler Bilder aufgenommen werden. Die Aufnahme digitaler Bilder kann in Form von unregelmäßig aufgenommenen Einzelbildern oder auch kontinuierlich, insbesondere als Video-Stream erfolgen. Wenigstens ein digitales Bild wird über eine geeignete Anzeigevorrichtung einem Benutzer des Verfahrens, wie einem Arzt während einer minimalinvasiven Operation, angezeigt werden. Mittels geeigneter Benutzereingaben, wie vorstehend im Detail beschrieben, kann der Benutzer des Verfahrens eine Information die in einem (aktuellen) Betrachtungsbereich und damit in einem (aktuell) dargestellten digitalen Bild enthalten ist markieren. Wenn die Markierung einer Information vorgenommen wird und entsprechend eine Landmarke gesetzt wird, wird über eine Steuereinheit die Position der Landmarke ermittelt. Diese Positionsermittlung kann basierend auf der Pixelinformation im digitalen Bild, basierend auf absoluten oder relativen Positionsinformationen der Bildgebungsvorrichtung, beispielsweise basierend auf Intertialsensordaten, gegebenenfalls in Bezug auf einen Referenzpunkt, erfolgen. Die Positionsinformationen werden zusammen mit einer (dynamisch) generierten, eindeutigen, der Landmarke zugeordneten Kennung in einer geeigneten Speicherform, insbesondere einer Datenbank gespeichert.
Im Laufe der Anwendung des Verfahrens wird die Optik der Bildgebungsvorrichtung beziehungsweise, je nach verwendetem System, wenigstens der bewegbare Teil der Optik durch den Benutzer bewegt, wodurch ein digitales Bild aus einer anderen Position der Bildgebungsvorrichtung und somit zumindest eines teilweise unterschiedlichen Betrachtungsbereichs aufgenommen. Basierend auf den verfügbaren Positionsinformationen der Bildgebungsvorrichtung und/oder über optische Flussanalysen aufeinanderfolgender digitaler Bilder wird die Position der Landmarke in Bezug auf den aktuellen, oder aktuell dargestellten, Betrachtungsbereich ermittelt.
Wenn die markierte Information im aktuellen Betrachtungsbereich, also im Blickfeld der Bildgebungsvorrichtung in ihrer aktuellen Position enthalten ist, wird eine der Landmarke zugeordnete Information auf das Bild augmentiert. Alternativ, wenn die markierte Information im aktuellen Betrachtungsbereich, also im Blickfeld der Bildgebungsvorrichtung in ihrer aktuellen Position nicht enthalten ist, wird eine der Bewegungsanweisungen auf das Bild augmentiert. Diese Bewegungsanweisung gibt dem Benutzer des Verfahrens die nötigen Informationen wie die Bildgebungsvorrichtung bewegt werden muss, um die markierte Information wieder in das Blickfeld der Bildgebungsvorrichtung zu bringen.
zeigt schematisch, welche einer Landmarke zugeordneten Informationen in welcher Form gespeichert werden können. Hier zeigt einen Datensatz wie er in dem im Zusammenhang mit beschriebenen Verfahren erzeugt werden kann. Verschiedenen Landmarken werden eindeutige Kennungen (Landmarken_ID) zugeordnet und diese mit den entsprechenden Koordinaten in einem digitalen Bild (Bildkoordinaten) eines Betrachtungsbereiches, der wiederum über die Position der Bildgebungsvorrichtung (Inertialsensordaten) beschrieben wird. Wie in gezeigt, können weitere Informationen gespeichert werden. Hierbei kann beispielsweise eine der Landmarke zugeordnete eindeutige Kennung, Positionsinformation, Kategoriezuordnung, assoziierte Aufgabe und ein Status gespeichert werden. Grundsätzlich ist die Positionsinformation hierbei abhängig von den systemspezifischen, verfügbaren Informationen, also beispielsweise ob ein System mit Inertialsensoren verwendet wird und ist entsprechend in der Abbildung rein exemplarisch dargestellt. Gleichermaßen sind die assoziierte Aufgabe und der Status von der jeweiligen Anwendung abhängig und entsprechend in rein exemplarisch.
zeigt ein spezifisches Ausführungsbeispiel der vorliegenden Erfindung, in dem es einem Anwender eines endoskopischen Systems, beispielsweise einem operierenden Arzt, ermöglicht wird, intraoperativ Landmarken zu setzen. Diese Landmarken markieren beispielsweise Objekte, die der Arzt im Laufe der Operation entfernen möchte. Es wird eine Liste von Landmarken gespeichert, die der Arzt entfernen möchte. Die Position der Landmarken wird durch optisches Tracking und/oder 3D-Positionsbestimmung entsprechend der Kamera- und Objektbewegung mitgeführt, auch wenn das Objekt den Sichtbereich der Kamera verlässt.
In diesem Ausführungsbeispiel, basierend auf einem minimalinvasiven medizinischen Eingriff, wird eine Kombination von Inertialsensordaten und optisches Tracking zur Nachverfolgung einer gesetzten Landmarke verwendet. Zugrunde gelegt wird in diesem Beispiel eine typische endoskopische OP-Ausstattung inklusive Endoskop und Kamera, wobei ein fixer Trokarpunkt und eine 0°-Optik angenommen wird.
In einem in dargestellten aktuellen Livebild setzt der Anwender eine Landmarke auf den Bildmittelpunkt. Das Setzten der Landmarke kann hierbei wie vorstehend im Detail beschrieben erfolgen. Intern wird die Inertialsensorposition sowie das aktuelle Live-Bild mit der Koordinate des Bildzentrums gespeichert. Das gespeicherte Live-Bild erhält die Bezeichnung „0“, die Koordinate des Bildzentrums ist (x_0, y_0), die Inertialsensordaten sind R_0.
Das nachfolgende, in dargestellte Live-Bild „1“ wird mit dem gespeicherten Bild „0“ mit einem Optical-Flow-Algorithmus verrechnet. Dadurch wird die Verschiebung des Bildmittelpunkts berechnet und eine neue Position (x_1,y_1) der gesetzten Landmarke bestimmt. Diese neue Position wird im Bild angezeigt. Analog findet für alle nachfolgenden Frames eine Optical-Flow-Verrechnung der Bilder N+1 und N statt, sodass jeweils die Koordinaten (x_N+1, y_N+1) aus den Vorgängerkoordinaten (x_N, y_N) und dem berechneten Fluss bestimmt werden.
Nach einer gewissen Anzahl von Frames N=M ist eine Berechnung des Optical-Flows nicht mehr möglich. Dies kann bspw. auftreten, wenn das zur Landmarke gehörende Objekt durch weitergehende Bewegung der Bildgebungsvorrichtung den Bildbereich verlässt oder verdeckt wird. Auch eine zu schnelle Bewegung des Endoskops kann dazu führen, dass der Fluss nicht bestimmt werden kann. In diesem Fall wird auf die Inertialsensordaten der Kamera zurückgegriffen. Grundsätzlich hat die Kamera als starrer Körper 6 Freiheitsgrade (3 Translations - und 3 Rotationsfreiheitsgrade). Unter der Annahme eines fixen Trokarpunkts sind lediglich 3 Rotationsfreiheitsgrade und ein Translationsfreiheitsgrad (rein-raus) variabel. Der Inertialsensor misst die 3 Rotationsfreiheitsgrade. Da sich die gesetzte Landmarke im Bildzentrum befindet und eine 0° Optik beschrieben ist, ändert sich die Koordinate der Landmarke während des Auswahlvorgangs nicht bei einer (fiktiven) Bewegung entlang der rein-raus-Achse. Anders formuliert liegt das zur Landmarke gehörende Objekt in der Verlängerung des Endoskops.
Entsprechend kann durch Verrechnung der aktuellen Inertialsensordaten R_M und der anfänglichen Inertialsensordaten R_0 die Richtung (nicht jedoch der Abstand) ausgerechnet werden, in der die gesetzte Landmarke relativ zum Bildmittelpunkt liegt. Diese Richtung wird wie in gezeigt im Bild eingeblendet.
In jedem nachfolgenden Frame M+1, M+2, ... wird einerseits über die Verrechnung der Inertialsensordaten die Richtung der Landmarke berechnet und eingeblendet. Andererseits wird das jeweils aktuelle Bild mit Bild 0 und/oder Bild N mit einem Optical-Flow-Verfahren verglichen (Bild 1 bis Bild N-1 können gegebenenfalls, beispielsweise um Speicherplatz zu sparen, verworfen werden) und versucht, die Landmarkenkoordinate zu berechnen. Gelingt dies, wird dies angezeigt und es wird entsprechend Beschreibung b) verfahren, gelingt dies nicht, wird entsprechend Beschreibung d) weiter verfahren.
Wie vorstehend im Detail ausgeführt hat der Anwender die Möglichkeit durch Gestenerkennung, Drücken eines Knopfes, eines Fußpedals, etc. die gesetzte Landmarke zu löschen ober ggfs. weitere Landmarken zu setzen.
Zum Setzen oder Löschen von Landmarken bietet sich eine Gestensteuerung an. Hierbei bewegt der Arzt die eingebrachten Instrumente so, dass die Instrumentenspitzen eine vorab definierte Bewegungstrajektorie durchführen. Die Endoskopkamera erfasst das Bild. Ein künstlicher Intelligenzalgorithmus erkennt die Instrumentenspitze (hierbei bietet sich insbesondere ein Detektionsmodell an, das eine Bounding Box im Bild vorhersagt) und erfasst die Bewegung der Instrumentenspitze über eine Anzahl von aufeinanderfolgenden Frames. Entspricht die Bewegung der vorab definierten Trajektorie, wird bspw. das Setzen oder Löschen der Landmarke aktiviert. Insbesondere eignen sich definierte Trajektorien, die nicht üblicherweise in einem normalen laparoskopischen Eingriff vorkommen. Beispielsweise kann eine „8“-Bewegung zum Setzen einer Landmarke definiert werden und eine Kreisbewegung um die gesetzte Landmarke zu löschen verwendet werden.
Das Öffnen und Schließen des Maulteils kann ebenfalls die Gestensteuerung unterstützen, hierbei kann ein KI-Modell eine binäre Klassifikation durchführen. Denkbar ist auch, dass mehrere Instrumente gemeinsam eine Geste durchführen.
Der Umfang dieser Offenbarung schließt alle Änderungen, Ersetzungen, Variationen, Abwandlungen und Modifikationen an den hierin beschriebenen oder veranschaulichten Ausführungsbeispielen ein, die ein durchschnittlicher Fachmann begreifen würde. Der Schutzumfang dieser Offenbarung ist nicht auf die hierin beschriebenen oder veranschaulichten Ausführungsbeispiele beschränkt. Obwohl diese Offenbarung jeweilige Ausführungsformen hierin als bestimmte Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte umfassend beschreibt und veranschaulicht, können zudem beliebige dieser Ausführungsformen beliebige Kombinationen oder Permutationen beliebiger Komponenten, Elemente, Merkmale, Funktionen, Operationen oder Schritte, die irgendwo hierin beschrieben oder veranschaulicht sind, umfassen, die ein durchschnittlicher Fachmann begreifen würde. Ein Verweis in den angehängten Patentansprüchen darauf, dass ein Verfahren oder eine Vorrichtung oder eine Komponente einer Vorrichtung oder ein System zum Durchführen einer bestimmten Funktion angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist, schließt des Weiteren dieses Gerät, dieses System oder diese Komponente ein, unabhängig davon, ob es/sie oder diese bestimmte Funktion aktiviert, eingeschaltet oder freigegeben ist, solange dieses Gerät, dieses System oder diese Komponente dazu angepasst, eingerichtet, fähig, konfiguriert, befähigt, betriebsfähig oder betriebsbereit ist. Obwohl diese Offenbarung bestimmte Ausführungsformen als bestimmte Vorteile bereitstellend beschreibt oder veranschaulicht, können zudem bestimmte Ausführungsformen keine, einige oder alle diese Vorteile bereitstellen.

Claims

Verfahren zur Markierung von Information in digitalen Bildern einer Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen einer Serie von digitalen Bildern wenigstens eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufweist und wenigstens ein Teil der Optik bewegbar ist, umfassend: - Aufnehmen eines ersten digitalen Bildes eines ersten Betrachtungsbereiches in einer ersten räumlichen Position des bewegbaren Teils der Optik, in dem wenigstens eine erste Information enthalten ist; - Markieren der ersten Information durch setzen wenigstens einer ersten Landmarke; - Bestimmen von Positionsinformationen der ersten Landmarke; - Generieren einer mit der ersten Landmarke verknüpften ersten eindeutigen Kennung; - Speichern der eindeutigen Kennung zusammen mit den zugehörigen Positionsinformationen; - Aufnehmen eines zweiten digitalen Bildes eines zweiten Betrachtungsbereiches in einer zweiten räumlichen Position des bewegbaren Teils der Optik; - Bestimmen der Position der ersten Landmarke in Bezug auf den zweiten Betrachtungsbereich; - Augmentieren der ersten Landmarke auf das zweite digitale Bild, wenn die erste Information in dem zweiten Betrachtungsbereich enthalten ist, oder - Augmentieren von wenigstens einer Bewegungsanweisung zur Hinführung des bewegbaren Teils der Optik zu einer räumlichen Position desselben, in der die erste Information in einem dritten Betrachtungsbereich enthalten ist, auf das zweite digitale Bild, wenn die erste Information in dem zweiten Betrachtungsbereich nicht enthalten ist.
Verfahren nach Anspruch 1, wobei der bewegbare Teil der Optik Inertialsensoren aufweist und das Verfahren das Bestimmen von Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik basierend auf Inertialsensordaten umfasst.
Verfahren nach Anspruch 2, wobei das Bestimmen der Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik auch die räumliche Position in Bezug auf einen Referenzpunkt umfasst.
Verfahren nach Anspruch 3, wobei die Bildgebungsvorrichtung ein Endoskopsystem ist und der Referenzpunkt der Trokar ist.
Verfahren nach einem der Ansprüche 2 bis 4, wobei digitalen Bildern von Betrachtungsbereichen jeweilige Positionsinformationen der räumlichen Position des bewegbaren Teils der Optik zugeordnet werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Positionsinformationen der ersten Landmarke in Bezug auf die räumliche Position des bewegbaren Teils der Optik bestimmt wird und/oder der Pixelposition der ersten Landmarke im ersten digitalen Bild entspricht.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Bestimmung der Position der ersten Landmarke in Bezug auf den zweiten Betrachtungsbereich über die Berechnung des optischen Flusses basierend auf einer Serie von digitalen Bildern und/oder über die Nachverfolgung der Position des bewegbaren Teils der Optik erfolgt.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Speichern der eindeutigen Kennung zusammen mit den zugehörigen Positionsinformationen auch eine Beschreibung und/oder Kategorisierung der markierten Information enthält.
Verfahren nach einem der vorstehenden Ansprüche, wobei die wenigstens eine Landmarke gelöscht und/oder die zugehörige Augmentierung unterbunden werden kann.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Setzen, Löschen und/oder Unterbinden der Augmentierung der wenigstens einen Landmarke durch erkennen von Benutzereingaben und/oder durch automatische Objekterkennung erfolgt.
Verfahren nach Anspruch 10, wobei die Benutzereingaben Eingaben über Benutzerschnittstellen, akustische Signale und/oder direkte Gestenbewegungen mit einem Instrument im Betrachtungsbereich oder die indirekte Gestenbewegungen durch Bewegung des bewegbaren Teils der Optik umfassen.
Verfahren nach einem der vorstehenden Ansprüche, wobei digitale Bilder verschiedener Betrachtungsbereiche mittels Stitching zu einem zusammengesetzten Bild zusammengefügt werden.
Verfahren nach Anspruch 12, wobei Betrachtungsbereiche des ausgedehnten Gegenstandes in Positionen des bewegbaren Teils der Optik in denen keine oder mangelhafte digitale Bilder aufgenommen wurden in dem zusammengesetzten Bild durch Platzhalterbilder in entsprechender Position ersetzt werde.
Vorrichtung umfassend eine Bildgebungsvorrichtung, insbesondere eines Endoskopsystems, wobei die Bildgebungsvorrichtung ein optisches System mit einer Optik und einem Bildsensor zum Aufnehmen einer Serie von digitalen Bildern wenigstens eines Betrachtungsbereiches eines ausgedehnten Gegenstandes aufweist und wenigstens ein Teil der Optik bewegbar ist, und eine Steuereinheit, wobei die Vorrichtung konfiguriert ist um das Verfahren gemäß einem der vorstehenden Ansprüche auszuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der vorstehenden Ansprüche auszuführen.