DE102019116383A1

DE102019116383A1 - Verfahren zum Markieren eines Bildbereichs in einem Bild einer Bildfolge

Info

Publication number: DE102019116383A1
Application number: DE102019116383.8A
Authority: DE
Inventors: Martin Böhning; Frank Hassenpflug; Andreas Hille; Michel Kronenthaler
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2020-12-17
Also published as: CN112102359A; US20200394757A1

Abstract

Ein Verfahren zum Markieren eines Bildbereichs in einem Bild einer Bildfolge umfasst die Schritte,Identifizieren (S2) eines Bildbereichs (3) in einem ersten Bild (1) der Bildfolge,Bestimmen (S5) einer Transformation zwischen dem ersten Bild (1) und einem zweiten Bild (4) der Bildfolge,Transformieren (S6) des Bildbereichs (3) anhand der bestimmten Transformation,Darstellen (S6) des transformierten Bildbereichs (3') in dem zweiten Bild (4).

Description

Die Erfindung betrifft ein Verfahren zum Markieren eines Bildbereichs in einem Bild einer Bildfolge.
Bei chirurgischen Eingriffen wird häufig ein Gewebeteil, beispielsweise ein Tumor, mithilfe eines fluoreszierenden Farbstoffs und entsprechender Beleuchtung sichtbar gemacht. Auf diese Weise kann beispielsweise der betroffene Gewebeteil besser sichtbar gemacht werden.
Hier ist das Problem, dass die Fluoreszenz, also die farbliche Markierung, des Gewebebereichs im Laufe der Zeit verschwindet. Darüber hinaus besteht das Problem, dass sich gerade beim Endoskopieren der Bildausschnitt nur schwer konstant halten lässt, so dass es schwierig ist, den identifizierten Bereich ohne Farbstoff in der Bildfolge weiter zu verfolgen.
In der Regel muss dann neuer Farbstoff appliziert werden, damit der Bereich weiterhin sichtbar bleibt. Dies kann jedoch aus unterschiedlichen Gründen unerwünscht sein.
Aufgabe der Erfindung ist es daher, ein verbessertes Verfahren zur Markierung eines Bildbereichs in Bildern einer Bildfolge zu schaffen.
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruch 1 gelöst.
Demnach umfasst das erfindungsgemäße Verfahren die Schritte: Identifizieren eines Bildbereichs in einem ersten Bild der Bildfolge, insbesondere durch Segmentierung,
Bestimmen einer Transformation zwischen dem ersten Bild und einem zweiten Bild der Bildfolge,
Transformieren des Bildbereichs anhand der bestimmten Transformation,
Darstellen des Bildbereichs in dem zweiten Bild.
Der ausgewählte Bildbereich wird demnach vom ersten Bild auf jedes weitere Bild einer Bildfolge, etwa eines Videostroms, übertragen und in diesem dargestellt.
Auf diese Weise ist es möglich, einen einmal gekennzeichneten Bildbereich in einem laufenden Videosignal zu verfolgen.
Insbesondere vorteilhaft ist das Verfahren im medizinischen Bereich, wodurch ein einmal farblich gekennzeichneter Gewebebereich auch dann weiterverfolgt werden kann, wenn die farbliche Markierung, beispielsweise Fluoreszenz, abgeklungen ist. In diesem Fall kann die Häufigkeit der Gabe von beispielsweise Fluorochrome oder anderen Farbstoffen reduziert werden.
Aber auch in anderen Anwendungsgebieten kann das Verfahren vorteilhaft eingesetzt werden. Der Bereich kann beispielsweise mit Hilfe einer Wärmebildkamera anhand eines Temperaturbereichs identifiziert werden und im laufenden Videosignal dauerhaft markiert werden.
Es kann aber auch beispielsweise ein zu bearbeitender Bereich manuell markiert werden.
Das erfindungsgemäße Verfahren ist demnach für jegliche Art von Bildfolge, insbesondere Videosignale aber auch eine Folge von Einzelbildern anwendbar.
In einer Ausführung werden demnach die Schritte Bestimmen, Transformieren und Darstellen für weitere Bilder der Bildfolge wiederholt ausgeführt. Insbesondere kann die Bildverarbeitung so schnell erfolgen, dass sie in Echtzeit auf einem Videosignal ausführbar ist und jedes Bild bearbeitet wird.
Es kann jedoch auch ausreichend sein, wenn nur jedes zweite oder jedes n-te Bild eines Videosignals bearbeitet wird.
Prinzipiell wird der Bildbereich so wie er im ersten Bild identifiziert wurde im zweiten Bild dargestellt. Es ist jedoch auch möglich, dass der Bildbereich zur Darstellung verändert wird, insbesondere in Farbe, Transparenz, Kontrast oder Helligkeit.
In einer Ausführung umfasst das Darstellen des Bildbereichs nur eine Darstellung einer Umfangslinie des Bildbereichs. Auf diese Weise wird nur eine Begrenzung des Bildbereichs dargestellt und die Sicht auf das tatsächliche Bild innerhalb des Bildbereichs nicht verdeckt oder verfälscht. Dadurch ist beispielsweise beim Endoskopieren eine bessere Sichtkontrolle eines chirurgischen Eingriffs möglich.
In einer Ausführung erfolgt das Darstellen des Bildbereichs durch eine Überlagerung des eingepassten Bildbereichs in dem zweiten Bild.
In einer Ausführung erfolgt die Überlagerung im zweiten Bild durch Alpha-Blending. Dabei kann insbesondere die Intensität der Überlagerung änderbar sein, so dass das Livebild noch zu sehen sein kann.
In einer Ausführung erfolgt das Bestimmen einer Transformation anhand von Korrespondenzen zwischen Bildinhalten zwischen dem ersten Bild und einem zweiten Bild.
Dabei kann es insbesondere vorteilhaft sein, wenn die zum Bestimmen der Transformation herangezogenen Bildinhalte außerhalb des identifizierten Bereichs liegen.
In einer Ausführung wird zum Bestimmen einer Transformation eine geometrische Transformation mit mehreren Freiheitsgraden verwendet. Auf diese Weise können beispielsweise Rotationen, Scherungen, Skalierungen und Translationen beschrieben werden.
Zweckmäßigerweise werden dazu acht Freiheitsgrade verwendet.
Weiterhin kann insbesondere eine Matrixtransformation verwendet werden.
In einer Ausführung erfolgt das Identifizieren in dem ersten Bild anhand einer farblichen oder anderweitigen Markierung des Bildbereichs.
In einer Ausführung erfolgt eine farbliche Markierung des Bereichs durch Fluoreszenz, beispielsweise durch Beigabe von Fluorochrome.
Prinzipiell kann das Identifizieren des Bildbereichs im ersten Bild manuell, beispielsweise an einem Bildschirm, erfolgen.
In einer Ausführung erfolgt das Identifizieren automatisiert. Dabei kann insbesondere eine farbliche Markierung benutzt werden. Beispielsweise kann ein fluoreszierender Farbstoff mit einer UV-Lichtquelle beleuchtet werden. Das so entstehende Bild kann beispielsweise direkt als Bildbereich identifiziert und verwendet werden.
In einer Ausführung umfasst das Identifizieren ein Zwischenspeichern des Bildbereichs.
Besonders vorteilhaft ist es, wenn zur Ausführung des Verfahrens eine Videobearbeitungseinheit, insbesondere ein FPGA, verwendet wird.
Die Erfindung ist nachfolgend anhand eines Ausführungsbeispiels mit Bezug auf die beiliegenden Zeichnungen näher erläutert.
Es zeigt:

1: ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens,
2: ein erstes Bild mit einem farblich markierten Bildbereich,
3: der identifizierte Bildbereich,
4: ein zweites Bild der Bildfolge, beim dem die farbliche Markierung nicht mehr sichtbar ist,
5: der entsprechend zum zweiten Bild transformierte Bildbereich und
6: das zweite Bild mit dem überlagerten transformierten Bildbereich.

Die 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. Das Verfahren wird beispielsweise in einer Bildverarbeitungseinheit oder einer Videoverarbeitungseinheit, insbesondere mit einem FPGA, ausgeführt.
In einem ersten Schritt S1 wird ein erstes Bild 1 einer Bildfolge bereitgestellt. Ein solches erstes Bild 1 ist beispielhaft in 2 gezeigt.
2 zeigt hier beispielhaft ein endoskopisches Bild 1 bei dem ein Gewebeteil 2, etwa ein Tumor, mit einem Fluoreszenzfarbstoff farblich markiert wurde.
In einem Identifizierungsschritt S2 wird nun im ersten Bild 1 ein Bildbereich 3 identifiziert, der in nachfolgenden Bildern nachverfolgt, also markiert, werden soll. Im Beispiel kann die Identifizierung anhand der farblichen Markierung erfolgen, beispielsweise durch Segmentierung. Dies kann beispielsweise automatisiert dadurch erfolgen, dass unter UV-Licht nur der fluoreszierende Bildbereich aufgenommen wird.
Der identifizierte Bildbereich 3 (siehe 3) wird getrennt vom ersten Bild 1 zwischengespeichert.
In einem Bildladeschritt S3 wird ein zweites n-tes Bild der Bildfolge geladen. Ein solches zweites Bild 4 ist beispielhaft in 4 gezeigt. Das zweite Bild 4 zeigt dieselbe Bildszene wie die 2. Das zweite Bild ist aufgrund einer Kamerabewegung jedoch gedreht und eventuell verschoben. Darüber hinaus fehlt die farbliche Markierung, da beispielsweise die Fluoreszenz bereits abgeklungen ist.
In einem Bestimmungsschritt S4 wird nun eine geometrische Transformation bestimmt, die das erste Bild 1 auf das zweite Bild 4 abbildet. Dabei werden beispielsweise in den Bildern Korrespondenzen 5 zwischen Bildinhalten gesucht, wobei die Bildinhalte vorzugsweise außerhalb des identifizierten Bildbereichs liegen.
Die Korrespondenzen 5 können beispielsweise Bildmerkmale sein, die durch einen Algorithmus einfach und sicher erkannt werden können. Dazu können beispielsweise bekannte Objektverfolgungsalgorithmen oder Algorithmen zur Merkmalsdetektion, etwa zur Kantenerkennung, angewendet werden. Anhand der Lage der korrespondierenden Bildinhalte kann mit Hilfe einer Matrixtransformation, beispielsweise mit acht Freiheitsgraden, die Transformation bestimmt werden.
In einem Transformationsschritt S5 wird nun der Bildbereich 3 mit der zuvor bestimmten Transformation transformiert. Das Ergebnis ist beispielhaft in 5 gezeigt. Der transformierte Bildbereich 3' ist gegenüber dem ursprünglichen Bildbereich 3 der 3 gedreht.
Schließlich wird in einem Darstellungsschritt S6 der transformierte Bildbereich 3' in dem zweiten Bild 4 überlagert dargestellt. Dazu kann beispielsweise ein Alpha-Blending Verfahren angewendet werden.
Das Ergebnis der Darstellung S6 ist beispielhaft in 6 gezeigt. Der markierte Bildbereich 3' ist nun so in dem zweiten Bild 4 sichtbar, als ob der fluoreszierende Farbstoff noch sichtbar wäre.
Es ist daher mit dem erfindungsgemäßen Verfahren möglich, einen einmalig identifizierten Bildbereich in einem laufenden Videosignal oder einer Bildfolge weiterhin sichtbar zu machen, obwohl sich das Bild, beispielsweise aufgrund von Kamerabewegungen, ständig ändert. Dabei führen auch sprunghafte Änderungen nicht zu Problemen, solange eine geometrische Transformation zwischen den Bildern bestimmt werden kann.
Das Verfahren wird dann mit dem Bereitstellen des nächsten Bildes im Bildladeschritt S3 fortgesetzt.
Insbesondere vorteilhaft ist es dabei, wenn das Verfahren die Transformation immer zum ersten Bild bestimmt und nicht zu eventuellen vorhergehenden Bildern.
Bezugszeichenliste

1: erstes Bild
2: farblich markierter Gewebeteil
3: identifizierter Bildbereich
3': transformierter, markierter Bildbereich
4: zweites Bild
5: Korrespondenz
S1 - S6: Verfahrensschritte

Claims

Verfahren zum Markieren eines Bildbereichs in einem Bild einer Bildfolge, gekennzeichnet durch die Schritte, Identifizieren (S2) eines Bildbereichs (3) in einem ersten Bild (1) der Bildfolge, insbesondere durch Segmentierung, Bestimmen (S4) einer Transformation zwischen dem ersten Bild (1) und einem zweiten Bild (4) der Bildfolge, Transformieren (S5) des Bildbereichs (3) anhand der bestimmten Transformation, Darstellen (S6) des transformierten Bildbereichs (3') in dem zweiten Bild (4).
Verfahren nach Anspruch 1, wobei die Schritte Bestimmen (S4), Transformieren (S5) und Darstellen (S6) für weitere Bilder der Bildfolge wiederholt werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Darstellen (S6) des transformierten Bildbereichs (3') nur eine Darstellung einer Umfangslinie des Bildbereichs (3) umfasst.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Darstellen des transformierten Bildbereichs (3') durch eine Überlagerung des Bildbereichs (3) in dem zweiten Bild (4) erfolgt.
Verfahren nach Anspruch 4, wobei die Überlagerung im zweiten Bild (4) durch Alpha-Blending erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Bestimmen einer Transformation anhand von Korrespondenzen (5) zwischen Bildinhalten zwischen dem ersten Bild (1) und einem zweiten Bild (4) erfolgt, insbesondere wobei die Bildinhalte außerhalb des identifizierten Bereichs (3) liegen.
Verfahren nach einem der vorangehenden Ansprüche, wobei zum Bestimmen einer Transformation eine geometrische Transformation, insbesondere Matrixtransformation, mit mehreren, insbesondere acht, Freiheitsgraden verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Identifizieren in dem ersten Bild (1) anhand einer farblichen oder anderweitigen Markierung (2) des Bildbereichs (3) erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, dass eine farbliche Markierung (2) des Bildbereichs (3) durch Fluoreszenz, beispielsweise durch Beigabe von Fluorochrome, erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Identifizieren automatisiert erfolgt, insbesondere durch Aufnahme eines Bildes mit unterschiedlicher Beleuchtungsquelle.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Identifizieren das Zwischenspeichern des Bildbereichs (3) umfasst.