DE102019116381A1

DE102019116381A1 - Verfahren zur Bestimmung der Bildposition eines Markierungspunktes in einem Bild einer Bildsequenz

Info

Publication number: DE102019116381A1
Application number: DE102019116381.1A
Authority: DE
Inventors: Michel Kronenthaler; Frank Hassenpflug
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2020-12-17
Also published as: US11367200B2; US20200394805A1; CN112102228A

Abstract

Verfahren zur Bestimmung der Bildposition einesMarkierungspunktes (3) in einem Bild einer Bildsequenz, mit den Verfahrensschritten:Festlegen (S2) eines Markierungspunktes in einem ersten Bild (1) der Bildsequenz,Bestimmen (S4) einer Transformation zumindest zwischen korrespondierenden Teilbereichen des ersten Bilds (1) und einem zweiten Bild (4) der Bildsequenz,Transformieren (S5) zumindest des Teilbereichs des ersten Bildes (1) oder des Teilbereichs des zweiten Bildes (4) anhand der bestimmten Transformation,Lokalisieren (S6) des Markierungspunkts (3) in dem transformierten Teilbereich des Bilds (4') undÜberführen (S7) des lokalisierten Markierungspunkts in das zweite Bild (4) anhand der bestimmten Transformation.

Description

Verfahren zur Bestimmung der Bildposition eines Markierungspunktes in Bildern einer Bildsequenz.
Bei den bekannten Verfahren wird wenigstens ein Punkt in einem ersten Bild markiert. Ein solcher markierter Punkt wird im Folgenden auch Markierungspunkt genannt. Anschließend werden zu dem Punkt korrespondierende Bildbestandteile in dem ersten Bild der Bildsequenz und einem weiteren Bild der Bildsequenz bestimmt. Dies kann durch bekannte Objekterkennung, oder Kantenerkennung oder dergleichen Bildverarbeitung erfolgen.
Derartige Verfahren haben allerdings den Nachteil, dass die Identifikation des Bildpunktes oder der Bildbestandteile im zweiten Bild schwer fällt, wenn die Aufnahme beispielsweise rotiert ist oder sich auf andere Weise schwerwiegend verändert hat.
Dies kann beispielsweise bei der Endoskopie geschehen, wenn schnelle, ruckartige Bewegungen ausgeführt werden oder die Beleuchtung sich stark ändert.
In einem weiteren Verfahren wird eine Transformation ermittelt, die die Bildbestandteile des ersten Bildes in die Bildbestandteile des zweiten Bildes überführt. Mit Hilfe dieser Transformation ist es üblich, den markierten Bildpunkt in das zweite Bild zu transformieren. Hierbei ist jedoch nachteilig die geringe Genauigkeit bei der Identifizierung des Markierungspunkts, insbesondere bei nicht planaren Objekten.
Aufgabe der Erfindung ist es daher ein Verfahren der vorgenannten Art zu schaffen, das eine sichere Identifizierung von zuvor definierten Markierungsspunkten erlaubt.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruch 1 gelöst.
Das erfindungsgemäße Verfahren umfasst die folgenden Verfahrensschritte:

Festlegen eines Markierungspunktes in einem ersten Bild der Bildsequenz,
Bestimmen einer Transformation zumindest zwischen korrespondierenden Teilbereichen des ersten Bilds und einem zweiten Bild der Bildsequenz,
Transformieren zumindest des Teilbereichs des ersten Bildes oder des Teilbereichs des zweiten Bildes anhand der bestimmten Transformation,
Lokalisieren des Markierungspunkts in dem transformierten Teilbereich des Bilds und
Überführen des lokalisierten Markierungspunkts in das zweite Bild anhand der bestimmten Transformation.

Insbesondere ist es vorteilhaft, dass der oder die markierten Punkte nicht oder nicht unbedingt zur Bestimmung der Transformation herangezogen werden.
Denn dadurch können auch Bildpunkte, die beispielsweise wenig charakteristische Eigenschaften haben im Vergleich zu den übrigen Bestandteilen der Szene, leicht im zweiten Bild identifiziert werden. Es hat sich nämlich herausgestellt, dass die Identifikation des korrespondierenden Bildpunkts zu solchen Bildmarkierungen schwierig ist, wenn sich beispielsweise das Bild dreht oder anderweitig stark verändert.
Ein weiterer Vorteil besteht darin, dass der Markierungspunkt auch in nicht aufeinanderfolgenden Bildern sicher erkennbar ist. Dies ist insbesondere bei schnellen oder ruckartigen Bewegungen vorteilhaft.
Weiterhin bleibt die Identität der Markierungspunkte erhalten, so dass auch Markierungspunkte, die in ähnlicher Umgebung und/oder nahe beieinander liegen nicht verwechselt werden.
Bei der Bestimmung der Transformation können auch eventuell Lageinformationen eines Lagesensors oder dergleichen Hilfssignale mit berücksichtigt werden.
Prinzipiell kann das Verfahren auf einem Teilbereich eines Bildes ausgeführt werden, wodurch die Geschwindigkeit des Verfahrens erhöht werden kann. Im einfachsten Fall umfasst der Teilbereich das ganze Bild.
In einer Ausführung ist das Verfahren weiter gekennzeichnet durch die bildliche Darstellung des überführten Markierungspunkts in dem zweiten Bild. Diese Darstellung kann beispielsweise durch eine Umrandung, eine Einfärbung oder eine andere Hervorhebung erfolgen.
In einer Ausführung ist das Verfahren weiter gekennzeichnet durch die Ausgabe der Bildposition, insbesondere Koordinaten, des überführten Markierungspunktes.
In einer Ausführung erfolgt das Festlegen eines Markierungspunktes manuell. Insbesondere kann ein Benutzer die Markierungspunkte an einem Bildschirm mittels Berührung eingeben.
Insbesondere vorteilhaft ist es, wenn das Festlegen eines Markierungspunktes in einem Standbild der Bildsequenz erfolgt. Auf diese Weise kann ein interessanter Punkt in Ruhe und mit großer Genauigkeit ausgewählt und markiert werden.
In einer Ausführung wird zum Bestimmen einer Transformation eine geometrische Transformation mit mehreren, Freiheitsgraden verwendet. Eine solche Matrixtransformation erlaubt die schnelle und einfache Berechnung einer Transformation zwischen dem ersten Bild und einem zweiten Bild. Insbesondere auch bei sehr starker Änderung der Kameraposition.
Insbesondere vorteilhaft ist es, wenn eine Matrixtransformation mit acht Freiheitsgraden verwendet wird. Auf diese Weise können Skalierung, Rotation, Translation und perspektivische Änderungen, wie beispielsweise eine Scherung, berücksichtigt und erkannt werden. Zusätzliche Vorteile sind eine genauere Rekonstruktion des Referenzbildes und somit eine genauere Lokalisierung des Markierungspunktes im transformierten Bild.
Außerdem können auf diese Weise beispielsweise Effekte die durch einen Rolling-Shutter des Bildsensors bei der Bildaufnahme entstehen kompensiert werden.
Die Lokalisierung des Markierungspunktes im transformierten Bild erfolgt nach einem der zahlreichen, bekannten Verfahren. Ein solches Verfahren kann beispielsweise ein Algorithmus zur Objekterkennung und/oder Merkmalsdetektion, beispielsweise zur Kantenerkennung oder Eckenerkennung, sein.
In einer Ausführung wird das erste Bild transformiert, wobei jedoch in diesem Fall die Merkmalsbeschreibung für den markierten Bildpunkt für jedes einzelne Folgebild erneut berechnet wird, was rechentechnisch aufwändig ist.
Besonders vorteilhaft ist es daher, wenn die Transformation auf dem zweiten Bild durchgeführt wird.
Eine vorteilhafte Ausführung umfasst vor dem Lokalisieren das Kontrollieren, ob die Bildposition des Markierungspunkt innerhalb des zweiten Bildes liegt. Dadurch kann beispielsweise das aufwändige Lokalisieren entfallen, wenn es nicht erfolgreich sein kann.
Zum Kontrollieren wird zunächst die Bildposition des Markierungspunktes in das transformierte zweite Bild übertragen und mit Hilfe der Transformation in das ursprüngliche zweite Bild überführt. Dies ist mit relativ geringem Rechenaufwand möglich, so dass abgeschätzt werden kann, ob eine aufwändige Berechnung notwendig ist.
Eine vorteilhafte Ausführung umfasst vor dem Lokalisieren das Kontrollieren ob eine Transformation gefunden wurde. Falls nicht, kann dies beispielsweise bedeuten, dass das Bild nun eine andere Szene enthält. Dies kann etwa durch eine starke Kamerabewegung erfolgen.
In einer Ausführung der Erfindung erfolgt eine Ausgabe einer Fehlermeldung oder einer anderen Warnung an einen Benutzer, wenn der Markierungspunkt außerhalb des Bildes liegen würde.
Eine Ausführung umfasst das Prüfen, insbesondere während dem Lokalisieren, ob die Ähnlichkeit, mit der ein korrespondierender Markierungspunkt gefunden wird, ausreichend ist. Dies verhindert, dass im Fall eines verdeckten Bildpunktes in dem Folgebild irgendein anderer Punkt des Bildes ausgewählt wird, der der nächstbeste korrespondierende Bildpunkt ist.
Die Ähnlichkeit kann beispielsweise über Deskriptoren bestimmt sein. Dazu kann insbesondere ein Schwellwert für die Ähnlichkeit definiert sein.
In einer Ausführung wandert das erste Bild jedoch nicht mit. Das bedeutet, dass das erste Bild, zumindest für eine bestimmte Zahl von Folgebildern, konstant bleibt, so dass das zweite Bild und jedes darauffolgende Bild mit diesem ersten Bild verglichen wird. Also die Transformation wird zwischen dem ersten Bild und einem zweiten Bild, dann zwischen dem ersten und einem dritten Bild usw. bestimmt. Dadurch ist eine genauere Lokalisierung der Markierung im Folgebild möglich.
In einer alternativen Ausführung der Erfindung wird nach jeder erfolgreichen Identifizierung eines Markierungspunktes in einem zweiten Bild dieses zweite Bild als Referenz, sprich erstes Bild, für das nachfolgende dritte Bild der Bildsequenz verwendet. Das bedeutet, dass die Transformation immer von einem Bild zum darauffolgenden Bild bestimmt wird.
Neben einzelnen Punkten als Markierung können in einer Ausführung auch mehrere, insbesondere geometrisch zusammenhängende, Markierungspunkte verwendet werden. Diese können beispielsweise eine bestimmte geometrische Ausdehnung des Untersuchungsobjekts, beispielsweise eines Tumors, zeigen.
Neben dem Verfahren ist auch eine Vorrichtung zur Bildverarbeitung mit wenigstens einem Mittel zum Ausführen des erfindungsgemäßen Verfahrens Bestandteil der Erfindung.
Die Erfindung ist nachfolgend anhand eines vorteilhaften Ausführungsbeispiels mit Bezug auf die beiliegenden Zeichnungen näher erläutert.
Es zeigt:

1: ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens,
2: ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens mit Fehlererkennung,
3: ein erstes Bild mit einem Markierungspunkt,
4: ein zweites Bild,
5: das transformierte zweite Bild mit lokalisiertem Markierungspunkt,
6: das zweite Bild mit überführtem Markierungspunkt,
7: ein zweites Bild, das eine unterschiedliche Szene zeigt,
8: ein zweites Bild, bei dem der Markierungspunkt außerhalb des Sichtbereichs liegt und
9: ein zweites Bild, bei dem der Markierungspunkt verdeckt ist.

Die 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. Das Verfahren kann beispielsweise in einem Videocontroller eines Endoskops oder einer anderen Bildverarbeitungseinheit ausgeführt werden, insbesondere in einem FPGA.
In einem ersten Schritt S1 wird ein erstes Bild eingelesen. Ein erstes Bild 1 ist beispielsweise in 3 gezeigt. Das erste Bild 1 zeigt beispielsweise verschiedene Gewebestrukturen 2. In einem Markierschritt S2 wird in dem ersten Bild 1 ein Markierungspunkt 3 festgelegt, der im laufenden verfolgt werden soll. Es können selbstverständlich auch mehrere Markierungspunkte festgelegt werden. Der Einfachheit halber ist im Folgenden jeweils nur ein Markierungspunkt gezeigt.
In einem Schritt S3 wird nun ein n-tes Bild eingelesen. In 4 ist ein solches n-tes Bild 4 gezeigt. Diese n-te Bild 4 ist gegenüber dem ersten Bild 1 gedreht. Die Lage des ersten Bildes 1 ist hier gestrichelt dargestellt.
In einem weiteren Schritt S4 wird nun eine Transformation bestimmt, die das gedrehte Bild 4 in das erste Bild 1 überführt. Zum Finden einer passenden Transformation kann beispielsweise eine Matrixtransformation mit mehreren Unbekannten, insbesondere acht Unbekannten, verwendet werden. Durch Lösen der Transformationsgleichungen kann auf diese Weise beispielsweise Rotation, Translation, Skalierung und perspektivische Änderungen berücksichtigt werden.
Nachdem die Transformation bestimmt wurde, wird in einem nächsten Schritt S5 das n-te Bild 4 mit Hilfe dieser Transformation transformiert. Das Ergebnis der Transformation ist beispielhaft in 5 gezeigt. Das transformierte Bild 4' entspricht nun in Ausrichtung und Skalierung dem ersten Bild 1.
Es wird nun in einem Lokalisierungsschritt S6 in dem transformierten Bild 4' der Markierungspunkt 3' lokalisiert. Diese Lokalisierung kann mit Hilfe von bekannten Suchalgorithmen, beispielsweise zur Objekterkennung erfolgen.
Dabei kann die Suche auf einen begrenzten Suchbereich 5 eingeschränkt werden, der um die Position des Markierungspunktes 3 im ersten Bild 1 definiert ist.
In einem Überführungsschritt S7 wird nun der gefundene Markierungspunkt 3' in das n-te Bild 4 transformiert.
Schließlich kann in einem Darstellungsschritt S8 der Markierungspunkt 3 im n-ten Bild 4 dargestellt werden, oder beispielsweise die Koordinaten ausgegeben werden. Dadurch befindet sich der Markierungspunkt 3 im n-ten Bild 4 exakt an der ursprünglich im ersten Bild 1 definierten Stelle, wie in 6 gezeigt.
Der Vorgang wird dann mit dem n+1-ten Bild wiederholt. In der Regel werden die Bilder aus einer Videosequenz entnommen. Insbesondere vorzugsweise erfolgt die Verarbeitung der Bildsignale so schnell, dass die Markierung im Livevideosignal mitverfolgt werden kann.
Besonders zweckmäßig ist es, wenn für die laufende Bildsequenz das erste Bild beibehalten wird, so dass alle weiteren Bilder der Bildsequenz jeweils zu diesem ersten Bild in Bezug gesetzt werden.
Alternativ kann das erste Bild auch prinzipiell nach einer bestimmten Zeit und/oder einer bestimmten Anzahl an verstrichenen Bildern zurückgesetzt oder auf das letzte zweite Bild des Zeitraumes oder das letzte Bild mit sichtbarem Markierungspunkt gesetzt werden.
Bei der Anwendung des Verfahrens, beispielsweise in der Endoskopie, können verschiedene Fehlersituationen auftreten, die eine Verfolgung des Markierungspunktes unmöglich machen. Die 2 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens mit entsprechender Fehlererkennung und Fehlerbehandlung. Das Verfahren basiert auf dem Verfahren der 1 wobei der Einfachheit einige Schritte hier nicht gezeigt sind.
Auch hier wird in Schritt S1 zunächst ein erstes Bild 1 geladen. In einem Transformationskontrollschritt S9 wird geprüft, ob eine Transformation gefunden wurde, die ein n-tes Bild 4 in das erste Bild 1 überführt.
Falls nein, wird in einem Szenefehlerschritt S10 ein Fehler in der Szene der Kamera erkannt. Dies ist insbesondere der Fall, wenn eine große Änderung der Kameraposition erfolgte. Eine solche Situation ist beispielsweise in 7 dargestellt. Hier zeigt das Bild andere Gewebestrukturen, weshalb eine Transformation nicht möglich ist. Es erfolgt in einem Meldungsschritt S16 eine Darstellung einer entsprechenden Fehlermeldung. Diese kann auch die Einblendung eines Fehlersymbols 6 umfassen, wie beispielhaft in 7 gezeigt. Darüber hinaus kann eine Fehlermeldung im Klartext angezeigt werden.
Falls ja, werden in einem Übertragungsschritt S11 die im ersten Bild 1 markierten Markierungspunkte 3 in das transformierte n-te Bild 4' übertragen und mit Hilfe der Transformation in das n-te Bild 4 überführt.
In einem Plausibilitätsschritt S12 wird geprüft, ob die so übertragenen Markierungspunkte 3 innerhalb eines gültigen Bildbereichs liegen, insbesondere innerhalb des n-ten Bildes 4.
Falls nein, wird in einem Randfehlerschritt S13 erkannt, dass wenigstens ein Markierungspunkt 3 außerhalb des Bildbereichs des n-ten Bildes 4 liegt. Es folgt auch hier der Meldungsschritt S16. Die 8 zeigt eine solche Situation, in der der Markierungspunkt 3 außerhalb des sichtbaren Bildbereichs liegt.
Falls ja, folgt hier der Lokalisierungsschritt S6. In einem Ähnlichkeitstestschritt S14 wird nun geprüft, ob für den ermittelten Punkt die Ähnlichkeit zum ersten Bild 1 ausreichend groß ist. Dabei kann ein Schwellwert für die Ähnlichkeit definiert sein.
Falls nein, wird in einem Punktfehlerschritt S15 erkannt, dass der Markierungspunkt zwar im gültigen Bildbereich liegt aber dennoch nicht sichtbar ist, insbesondere weil er verdeckt ist. Die 9 zeigt eine solche Situation, bei der der Markierungspunkt 3 beispielsweise durch ein medizinisches Gerät 7 verdeckt ist. Es folgt der Meldungsschritt S16.
Falls ja, folgen der Überführungsschritt S7 sowie der Darstellungsschritt S8.
Bezugszeichenliste

1: erstes Bild
2: Gewebestrukturen
3: Markierungspunkt
3': transformierter Markierungspunkt
4: n-tes Bild
4': transformiertes n-tes Bild
5: Suchbereich
6: Fehlersymbol
7: medizinisches Gerät
S1 - S16: Verfahrensschritte

Claims

Verfahren zur Bestimmung der Bildposition eines Markierungspunktes (3) in einem Bild einer Bildsequenz, gekennzeichnet durch die Verfahrensschritte, Festlegen (S2) eines Markierungspunktes in einem ersten Bild (1) der Bildsequenz, Bestimmen (S4) einer Transformation zumindest zwischen korrespondierenden Teilbereichen des ersten Bilds (1) und einem zweiten Bild (4) der Bildsequenz, Transformieren (S5) zumindest des Teilbereichs des ersten Bildes (1) oder des Teilbereichs des zweiten Bildes (4) anhand der bestimmten Transformation, Lokalisieren (S6) des Markierungspunkts (3) in dem transformierten Teilbereich des Bilds (4') und Überführen (S7) des lokalisierten Markierungspunkts in das zweite Bild (4) anhand der bestimmten Transformation.
Verfahren nach Anspruch 1, gekennzeichnet durch die bildliche Darstellung (S8) des überführten Markierungspunkts (3) in dem zweiten Bild (4) und/oder Ausgabe der Bildposition, insbesondere Koordinaten, des überführten Markierungspunktes (3).
Verfahren nach Anspruch 1 oder 2, wobei das Festlegen eines Markierungspunktes (3) manuell erfolgt und/oder wobei das Festlegen eines Markierungspunktes (3) in einem Standbild der Bildsequenz erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, wobei zum Bestimmen (S4) einer Transformation eine geometrische Transformation mit mehreren, insbesondere acht, Freiheitsgraden verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei zum Lokalisieren (S6) des Markierungspunkts (3) ein Algorithmus zur Objektverfolgung und/oder Merkmalsdetektion verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Transformation auf dem zweiten Bild (4) durchgeführt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Lokalisieren (S6) kontrolliert wird (S12), ob die Bildposition des Markierungspunkt (3) innerhalb des zweiten Bildes (4) liegt, insbesondere wobei zunächst die Bildposition des Markierungspunktes (3) in das transformierte zweite Bild (4') übertragen (S11) und mit Hilfe der Transformation in das ursprüngliche zweite Bild (4) überführt wird und/oder dass vor dem Lokalisieren (S6) kontrolliert wird (S9) ob eine Transformation gefunden wurde.
Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch den zusätzlichen Verfahrensschritt, Prüfen (S14), insbesondere während dem Lokalisieren (S6), ob die Ähnlichkeit, mit der ein korrespondierende Bildpunkt gefunden wird, ausreichend ist, insbesondere wobei ein Schwellwert für die Ähnlichkeit definiert ist.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das erste Bild (1) nicht mitwandert, sondern für eine bestimmte Zahl von Folgebildern konstant bleibt, so dass jedes der zweiten Bilder (4) mit diesem ersten Bild (1) verglichen wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass mehrere, geometrisch zusammenhängende Markierungspunkte (3) verwendet werden.
Vorrichtung zur Bildverarbeitung mit wenigstens einem Mittel zum Ausführen des Verfahrens nach einem der voranstehenden Ansprüche.