DE102017108371B4

DE102017108371B4 - Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben

Info

Publication number: DE102017108371B4
Application number: DE102017108371.5A
Authority: DE
Inventors: Stefan Saur; Christopher KÄSBACH
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2020-08-27
Anticipated expiration: 2037-04-21
Also published as: JP2018181333A; CN108720934A; US10989911B2; US20180307034A1; DE102017108371A1; JP6893896B2

Abstract

Verfahren zum Betreiben eines medizinisch-optischen Darstellungssystems zum Darstellen eines mit einer medizinisch-optischen Beobachtungsvorrichtung (2, 48) gewonnenen Objektbilds (OB) von einem beobachteten Objekt (O), wobei das medizinisch-optische Darstellungssystem eine Dateneinblendeinheit (74) zur Dateneinblendung wenigstens eines Bilddatensatzes (BD) in das Objektbild (OB) umfasst, mit den Schritten:- (S100) Bestimmen wenigstens eines Bereichs (B) mit geringer Aktivität innerhalb des Objektbildes (OB) und- (S200) Einblenden des wenigstens einen Bilddatensatzes (BD) in den wenigstens einen Bereich (B) mit geringer Aktivität.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines medizinisch-optischen Darstellungssystems mit einer Dateneinblendvorrichtung. Ferner betrifft die Erfindung ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens und ein medizinisch-optisches Darstellungssystem mit einer Dateneinblendvorrichtung.
Eine medizinisch-optische Beobachtungsvorrichtung, in der mit einer Einrichtung zur Dateneinspiegelung ein Bilddatensatz mit Zusatzinformationen in ein von der medizinisch-optischen Beobachtungsvorrichtung bereitgestelltem Abbild hineingespiegelt wird, ist aus der DE 10 2014 210 150 A1 bekannt.
Aus US 2004/0070822 A1 ist ein Operationsmikroskop bekannt, bei dem in das Bildfeld des Operationsmikroskops bspw. ein mit einer Ultraschallprobe gewonnenes Echtzeitbild, ein mittels präoperativer Diagnostik gewonnenes Schnittbild oder ein dreidimensionales Bild eingeblendet werden kann.
Im Allgemeinen wird die Position in dem Abbild, in dem der Bilddatensatz eingespiegelt wird, von der Einrichtung zur Dateneinblendung vorgegeben, ohne dass dabei Bezug auf Bildinhalte des Abbildes genommen wird.
In einem ungünstigen Fall erfolgt die Überlagerung genau an der Position, an der der Anwender (z.B. ein Chirurg oder eine OP-Schwester) gerne einen „ungestörten Blick“ auf die reale Szene hätte (Situs, Displays, Geräte, Personen, ...).
Bei einigen zu augmentierenden Informationen ist eine ortsgenaue Überlagerung (z.B. Tumorkonturdaten) gewünscht, doch bei vielen Informationen ist die Positionierung nicht an eine feste Position gebunden (z.B. Statusmeldungen eines Gerätes), d.h. idealerweise würden die Informationen des Bilddatensatzes dort eingeblendet werden, wo sie nicht stören, da in diesen Bereich aktuell keine Handlung/Aktivität vorliegt.
Es existieren Ansätze, bei denen eine Überlagerung eines Bilddatensatzes relativ zu chirurgischen Instrumenten (z.B. Spitze eines Tools) erfolgt. Diese Ansätze haben jedoch den Nachteil, dass explizit eine Toolerkennung erfolgen muss (im Extremfall muss der Algorithmus für jedes neue Toolset neu parametrisiert werden).
Ferner ist bekannt, bei einer Dateneinblendung eine feste Codierung der Position zur Überlagerung in Pixelkoordinaten ohne Berücksichtigung von Bildinhalten vorzunehmen, die Geometrie eines Raumes zu berücksichtigen, so dass die Dateneinblendung immer vor dem Objekt erfolgt, und die Dateneinblendung z.B. an ein chirurgisches Instrument anzudocken.
Mit Bezug auf den geschilderten Stand der Technik ist es Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Verfahren zum Betreiben einer medizinisch-optischen Beobachtungsvorrichtung, insbesondere eines Operationsmikroskops, sowie eine medizinisch-optische Beobachtungsvorrichtung zur Verfügung zu stellen, bei dem bzw. der es bei einer Dateneinblendung von einem Bilddatensatz zu keiner Überlagerung von relevanten Bildinhalten kommt.
Die genannte Aufgabe wird durch ein Verfahren nach Anspruch 1 bzw. eine medizinisch-optische Beobachtungsvorrichtung nach Anspruch 9 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
Gemäß der Erfindung wird ein Verfahren zum Betreiben eines medizinisch-optischen Darstellungssystems zum Darstellen eines mit einer medizinisch-optischen Beobachtungsvorrichtung gewonnenen Objektbilds von einem beobachteten Objekt, wobei das medizinisch-optische Darstellungssystem eine Dateneinblendeinheit zur Dateneinblendung wenigstens eines Bilddatensatzes in das Objektbild umfasst, zur Verfügung gestellt. Das Verfahren umfasst die Schritte:

- Bestimmen wenigstens eines Bereichs mit geringer Aktivität innerhalb des Objektbildes und
- Einblenden des wenigstens einen Bilddatensatzes in den wenigstens einen Bereich mit geringer Aktivität.

Somit wählt die Erfindung einen neuen Ansatz, um ungewünschte Überlagerungen von Bildinhalten zu vermeiden, die mit einem Informationsverlust einhergehen würden.
Das Objektbild kann dabei auch ein Stereobild sein, welches aus einem rechten und einem linken Teilbild aufgebaut ist. Der Bilddatensatz kann dann entweder in das linke Teilbild oder in das rechte Teilbild eingeblendet werden. Es ist aber auch möglich den Bilddatensatz sowohl in das rechte Teilbild als auch in das linke Teilbild einzublenden. Insbesondere kann der Bilddatensatz dann einen rechten und einen linken Bilddatensatz umfassen, die zusammen einen stereoskopischen Bilddatensatz ergeben. Die mittels des Bilddatensatzes eingeblendete Bildinformation kann dann eine stereoskopische Bildinformation ein. Das Objektbild kann aber auch ein das Umfeld des Interessierenden Objektbereiches darstellendes Umfeldbild sein, in das der Bilddatensatz eingeblendet wird.
Bei der medizinisch-optischen Beobachtungsvorrichtung kann es sich grundsätzlich um jede ein Objektbild generierende medizinische Vorrichtung handeln wie bspw. Operationsmikroskope, Endoskope, Endomikroskope, etc.
Bei dem medizinisch-optischen Darstellungssystem kann es sich entsprechend um jedes System kandeln, das geeignet ist, ein mit der medizinisch-optischen Beobachtungsvorrichtung aufgenommenes Objektbild darzustellen. Beispiele sind Monitore und Head-Mounted Displays, welche das Objektbild von einem medizinisch-optischen Beobachtungsgerät empfangen, oder wenigstens ein Okular umfassende Abschnitte von Operationsmikroskopen, Endoskopen oder Endomikroskopen.
Der wenigstens eine Bilddatensatz enthält z.B. Statusinformationen eines Gerätes oder Patientendaten und liegt in elektronischer Form vor. Er kann bspw. mittels eines Displays oder einer anderen geeigneten Wandlereinheit in optische Daten umgewandelt, die dann in einen Strahlengang des medizinischen-optischen Darstellungssystems eingeblendet, bspw. eingespiegelt werden, um einem dem Strahlengang des Objektbildes überlagert zu werden. Er kann aber auch in digitaler Form einem digitalen Objektbild digital überlagert werden. Das Bestimmen des wenigstens einen Bereichs mit geringer Aktivität kann mit Hilfe von Algorithmen erfolgen, oder es werden lernfähige Systeme, z.B. auf der Basis neuronaler Netze, insbesondere mehrlagiger neuronaler Netze, verwendet.
Gemäß einer Ausführungsform werden zum Bestimmen des Bereichs mit geringer Aktivität folgende Schritte ausgeführt:

- Erfassen von Rohbilddatensätzen, welche eine zeitliche Sequenz von einzelnen Objektbildern darstellen,
- Ermitteln der zeitlichen Variabilität von Bildpunkten der Rohbilddatensätze, wobei die Bildpunkte Pixel oder aus Pixeln zusammengesetzte Pixelgruppen der Rohbilddatensätze sein können,
- Vergleichen der zeitlichen Variabilität mit einem vorgegebenen Variabilitätsgrenzwert, und
- Clustern derjenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert liegt, um wenigstens ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität zu erzeugen, und
- Festlegen des wenigstens einen zusammenhängenden Gebietes mit geringer zeitlicher Variabilität als den wenigstens einen Bereich mit geringer Aktivität.

Es wird also eine zeitliche Sequenz von einzelnen Objektbildern erfasst, bspw. in Form einer Videosequenz aus einem vom Objekt aufgenommenen Videostream. Dabei liegen die Rohbilddatensätze in elektronischer Form vor. Es wird dann anhand eines Vergleichs der zeitlichen Variabilität der Bildpunkte in zeitlich aufeinander folgenden Objektbildern mit einem vorgegebenen Variabilitätsgrenzwert wenigstens ein Bereich mit geringer Aktivität, d.h. geringer Variabilität der Bildpunkte, der für eine Einblendung des Bilddatensatzes geeignet ist, ermittelt. In einen dieser Bereich wird dann der Bilddatensatz eingeblendet. Wenn mehrere Bilddatensätze vorliegen, können diese in unterschiedliche Abschnitte desselben Bereichs mit geringer Aktivität oder bei Vorliegen wenigstens zweier Bereiche mit geringer Aktivität in unterschiedliche Bereiche mit geringer Aktivität eingeblendet werden.
Um ein genügend großes zusammenhängendes Gebiet mit geringer zeitlicher Variabilität und geeigneter Größe für die Einblendung des Bilddatensatzes zu erhalten, kann es vorteilhaft sein, durch Bildverarbeitung einzelne zusammenhängende Gebiete mit geringer zeitlicher Variabilität zu einem größeren zusammenhängenden Gebiet mit geringer zeitlicher Variabilität zu vereinigen, wobei das größere zusammenhängende Gebiet mit geringer zeitlicher Variabilität dann als der wenigstens eine Bereich mit geringer Aktivität festgelegt wird.
Die Bestimmung des Ortes in dem wenigstens einen Bereich mit geringer Aktivität, an dem die Einblendung des Bilddatensatzes erfolgt, kann unter Berücksichtigung der Größe und/oder Form des im Bilddatensatz dargestellten Bildinhalts erfolgen. Hierdurch kann bspw. festgelegt werden, ob der wenigstens eine Bereich mit geringer Aktivität ausreicht, den Bilddatensatz einzublenden, oder ob ggf. einzelne Bereiche mit geringer Aktivität mit geringer zeitlicher Variabilität zu einem größeren wenigstens ein Bereich mit geringer Aktivität vereinigt werden müssen.
In einer Weiterbildung des erfindungsgemäßen Verfahrens kann eine Tiefenkarte des Beobachtungsobjekts dazu herangezogen werden, bestimmte Bereiche in den Rohbilddatensätzen, in denen eine hohe Aktivität zu erwarten ist, von vornherein als den wenigstens einen Bereich mit geringer Aktivität auszuschließen. Zusätzlich oder alternativ können anhand einer Mustererkennung Bereiche in den Rohbilddatensätzen, in denen Gerätedisplays oder Gesichter abgebildet sind, erkannt und von vornherein als der wenigstens eine Bereich mit geringer Aktivität ausgeschlossen werden.
Ein erfindungsgemäßes medizinisch-optisches Darstellungssystem zum Darstellen eines mit einer medizinisch-optischen Beobachtungsvorrichtung gewonnenen Objektbilds umfasst

- eine Dateneinblendeinheit, die dazu ausgebildet ist, wenigstens einen Bilddatensatz in das Objektbild einzublenden, und
- eine Bereichsbestimmungseinheit, die dazu ausgebildet ist, wenigstens einen Bereich mit geringer Aktivität innerhalb des Objektbildes zu bestimmen,

Die Dateneinblendeinheit ist dazu ausgebildet, den wenigstens einen Bilddatensatz in den wenigstens einen Bereich des Objektbilds mit geringer Aktivität einzublenden.
Die erfindungsgemäße medizinisch-optische Beobachtungsvorrichtung ist an das Durchführen des erfindungsgemäßen Verfahrens angepasst.
Das medizinisch-optische Darstellungssystem kann außerdem eine medizinisch-optische Beobachtungsvorrichtung zum Beobachteten eines Objekts und zum Aufnehmen eines Bildes des beobachteten Objekts als das Objektbild umfassen.
Die Bereichsbestimmungseinheit des medizinisch-optischen Darstellungssystems kann insbesondere umfassen:

- eine Einleseeinheit zum Einlesen von Rohbilddatensätzen, welche eine zeitliche Sequenz von einzelnen Objektbildern darstellen,
- eine Auswerteinheit zum Ermitteln der zeitlichen Variabilität von Bildpunkten der Rohbilddatensätze, wobei die Bildpunkte die Pixel oder aus Pixeln zusammengesetzte Pixelgruppen der Rohbilddatensätze sein können,
- eine Vergleichseinheit zum Vergleichen der zeitlichen Variabilität mit einem vorgegebenen Variabilitätsgrenzwert,
- eine Clustereinheit zum Clustern derjenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert liegt, um wenigstens ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität zu erzeugen, und
- eine Festlegeeinheit zum Festlegen des wenigstens einen zusammenhängenden Gebietes mit geringer zeitlicher Variabilität als den wenigstens einen Bereich mit geringer Aktivität.

Um ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität und geeigneter Größe für die Einblendung des Bilddatensatzes zu erhalten, kann eine Bildverarbeitungseinheit vorhanden sein, die mittels morphologischer Bildverarbeitung einzelne zusammenhängende Gebiete mit niedriger zeitlicher Variabilität zu einem größeren zusammenhängenden Gebiet mit niedriger zeitlicher Variabilität vereinigt. Die Festlegeeinheit ist dann dazu ausgestaltet, das größere zusammenhängende Gebiet mit geringer zeitlicher Variabilität als den wenigstens einen Bereich mit geringer Aktivität festzulegen.
In dem erfindungsgemäßen medizinisch-optischen Darstellungssystem kann die Einrichtung zur Dateneinblendung von einem Bilddatensatz dazu ausgebildet sein, zur Bestimmung des Ortes in dem wenigstens einen Bereich mit geringer Aktivität, an dem die Einblendung des Bilddatensatzes erfolgt, Größe und/oder Form des im Bilddatensatz dargestellten Bildinhalts zu berücksichtigen. Hierdurch kann bspw. festgelegt werden, ob der wenigstens eine Bereich mit geringer Aktivität ausreicht, den Bildinhalt des Bilddatensatzes einzublenden, oder ob ggf. einzelne Bereiche mit geringer Aktivität zu einem größeren zusammenhängenden Bereich mit geringer Aktivität vereinigt werden müssen.
Optional kann in dem erfindungsgemäßen medizinisch-optischen Darstellungssystem die Bereichsbestimmungseinheit eine Vorauswahleinrichtung umfassen, die anhand einer Tiefenkarte des Beobachtungsobjekts bestimmte Bereiche in den Rohbilddatensätzen, in denen eine hohe Aktivität zu erwarten ist, von vornherein als den wenigstens einen Bereich mit geringer Aktivität ausschließt und/oder die anhand einer Mustererkennung Bereiche in den Rohbilddatensätzen, in denen Gerätedisplays oder Gesichter abgebildet sind, erkennt und von vornherein als den wenigstens einen Bereich mit geringer Aktivität ausschließt.
Ferner gehören zur Erfindung ein Computerprogrammprodukt enthaltend Programmcode mit computerlesbaren Anweisungen zum Durchführen des erfindungsgemäßen Verfahrens, wenn der Programmcode in einen Computer geladen und/oder in einem Computer ausgeführt wird.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.

1 zeigt den typischen Aufbau eines Operationsmikroskops in einer schematischen Darstellung.
2 zeigt ein Objektiv für ein Operationsmikroskop, das anstelle des in 1 dargestellten Objektivs Verwendung finden kann.
3 zeigt ein einen alternative Ausgestaltung des Operationsmikroskops.
4 zeigt ein Szenario, bei dem ein medizinisch-optisches Darstellungssystem verwendet wird.
5 zeigt ein Ausführungsbeispiel einer Vorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens.
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.

Es wird auf die 1 Bezug genommen, in der der Aufbau eines Operationsmikroskops schematisch dargestellt ist. Im vorliegenden Ausführungsbeispiel ist das medizinisch-optische Darstellungssystem als Teil des Operationsmikroskops 2.
Unter einem Operationsmikroskop 2 ein Mikroskop verstanden, dass in der minimalinvasiven Chirurgie und Mikrochirurgie angewandt wird. Es weist eine vergleichsweise niedrige Vergrößerung (ca. 6- bis 40fach) auf und stellt in der Regel ein dreidimensionales Abbild bereit. Die Vergrößerung geht über die einer Lupenbrille hinaus. Es kommt im medizinischen Bereich bei fast allen operativen Richtungen zum Einsatz.
Das in 1 gezeigte Operationsmikroskop 2 umfasst ein einem Objektfeld 3 zuzuwendendes Objektiv 5, das insbesondere als achromatisches oder apochromatisches Objektiv ausgebildet sein kann. Im vorliegenden Ausführungsbeispiel besteht das Objektiv 5 aus zwei miteinander verkitteten Teillinsen, die ein achromatisches Objektiv bilden. Das Objektfeld 3 wird in der Brennebene des Objektivs 5 angeordnet, so dass es vom Objektiv 5 nach Unendlich abgebildet wird. Mit anderen Worten, ein vom Objektfeld 3 ausgehendes divergentes Strahlenbündel 7A, 7B wird bei seinem Durchgang durch das Objektiv 5 in ein paralleles Strahlenbündel 9 umgewandelt.
Beobachterseitig des Objektivs 5 ist ein Vergrößerungswechsler 11 angeordnet, der entweder wie im dargestellten Ausführungsbeispiel als Zoom-System zur stufenlosen Änderung des Vergrößerungsfaktors oder als so genannter Galilei-Wechsler zur stufenweisen Änderung des Vergrößerungsfaktors ausgebildet sein kann. In einem Zoom-System, das bspw. aus einer Linsenkombination mit drei Linsen aufgebaut ist, können die beiden objektseitigen Linsen verschoben werden, um den Vergrößerungsfaktor zu variieren. Tatsächlich kann das Zoom-System aber auch mehr als drei Linsen, bspw. vier oder mehr Linsen aufweisen, wobei die äußeren Linsen dann auch fest angeordnet sein können. In einem Galilei-Wechsler existieren dagegen mehrere feste Linsenkombinationen, die unterschiedliche Vergrößerungsfaktoren repräsentieren und im Wechsel in den Strahlengang eingebracht werden können. Sowohl ein Zoom-System, als auch ein Galilei-Wechsler wandeln ein objektseitiges paralleles Strahlenbündel in ein beobachterseitiges paralleles Strahlenbündel mit einem anderen Bündeldurchmesser um. Der Vergrößerungswechsler 11 ist im vorliegenden Ausführungsbeispiel bereits Teil des binokularen Strahlengangs des Operationsmikroskops 2, d.h. er weist eine eigene Linsenkombination für jeden stereoskopischen Teilstrahlengang 9A, 9B des Operationsmikroskops 2 auf. Das Einstellen eines Vergrößerungsfaktors mittels des Vergrößerungswechslers 11 erfolgt im vorliegenden Ausführungsbeispiel über ein motorisch angetriebenes Stellglied, das zusammen mit dem Vergrößerungswechsler 11 Teil einer Vergrößerungswechseleinheit zum Einstellen des Vergrößerungsfaktors ist.
An den Vergrößerungswechsler 11 schließt sich im vorliegenden Beispiel beobachterseitig eine Schnittstellenanordnung 13A, 13B an, über die externe Geräte an das Operationsmikroskop 2 angeschlossen werden können und die im vorliegenden Ausführungsbeispiel Strahlteilerprismen 15A, 15B umfassen. Grundsätzlich können aber auch andere Arten von Strahlteilern Verwendung finden, bspw. teildurchlässige Spiegel. Die Schnittstellenanordnungen 13A, 13B dienen im vorliegenden Ausführungsbeispiel zum Auskoppeln eines Strahlenbündels aus dem Strahlengang des Operationsmikroskops 2 (Strahlteilerprisma 15B) bzw. zum Einkoppeln eines Strahlenbündels in den Strahlengang des Operationsmikroskops 2 (Strahlteilerprisma 15A).
Das Strahlteilerprisma 15A in dem Teilstrahlengang 9A dient im vorliegenden Ausführungsbeispiel dazu, mit Hilfe eines Displays 37, bspw. einer Digital Mirror Device (DMD) oder eines LCD-Displays, und einer zugehörigen Optik 39 über das Strahlteilerprisma 15A Informationen oder Daten für einen Operateur in den Teilstrahlengang 9A des Operationsmikroskops 2 einzuspiegeln. Im anderen Teilstrahlengang 9B ist an der Schnittstellenordnung 13B ein Kameraadapter 19 mit einer daran befestigten Kamera 21 angeordnet, die mit einem elektronischen Bildsensor 23, bspw. mit einem CCD-Sensor oder einem CMOS-Sensor, ausgestattet ist. Mittels der Kamera 21 kann ein elektronisches und insbesondere ein digitales Bild des Gewebebereichs 3 aufgenommen werden. Als Bildsensor kann insbesondere auch ein Hyperspektralsensor Verwendung finden, in dem nicht nur drei Spektralkanäle (bspw. rot, grün und blau) vorhanden sind, sondern eine Vielzahl von Spektralkanälen. Um Bilder mit Tiefeninformation bereitstellen zu können, kann vorgesehen sein, dass jedem Teilstrahlengang 9A, 9B jeweils eine Kamera mit der jeweiligen Kamera zugeordneten Komponenten vorgesehen ist (nicht dargestellt). Ferner kann vorgesehen sein, dass jedem Teilstrahlengang 9A, 9B jeweils ein Display mit dem jeweiligen Display zugeordneten Komponenten vorgesehen ist (nicht dargestellt), um Bilddatensätze BD mit Tiefeninformation bereitstellen zu können.
An die Schnittstellenanordnung 13A, 13B schließt sich im vorliegenden Beispiel beobachterseitig ein Binokulartubus 27 an. Dieser weist zwei Tubusobjektive 29A, 29B auf, welche das jeweilige parallele Strahlenbündel 9A, 9B auf eine jeweilige Zwischenbildebene 31A, 31B fokussieren, also das Beobachtungsobjekt 3 auf die jeweilige Zwischenbildebene 31A, 31B abbilden. Die in den Zwischenbildebenen 31A, 31B befindlichen Zwischenbilder werden schließlich von Okularlinsen 35A, 35B wiederum nach Unendlich abgebildet, so dass ein Betrachter das Zwischenbild mit entspanntem Auge betrachten kann. Außerdem erfolgt im Binokulartubus mittels eines Spiegelsystems oder mittels Prismen 33A, 33B eine Vergrößerung des Abstandes zwischen den beiden Teilstrahlenbündeln 9A, 9B, um diesen an den Augenabstand des Betrachters anzupassen. Mit dem Spiegelsystem oder den Prismen 33A, 33B erfolgt zudem eine Bildaufrichtung.
Der Binokulartubus 27 und die Schnittstellenanordnung 13A, 13B bilden diesem Operationsmikroskop das medizinisch-optische Darstellungssystem, wobei die Dateneinblendeinheit durch das Strahlteilerprisma 15A und das Display 37 und die Optik 39 gebildet sind.
Das Operationsmikroskop 2 ist außerdem mit einer Beleuchtungsvorrichtung ausgestattet, mit der das Objektfeld 3 mit breitbandigem Beleuchtungslicht beleuchtet werden kann. Hierzu weist die Beleuchtungsvorrichtung im vorliegenden Beispiel eine Weißlichtquelle 41, etwa eine Halogenglühlampe oder eine Gasentladungslampe, auf. Das von der Weißlichtquelle 41 ausgehende Licht wird über einen Umlenkspiegel 43 oder ein Umlenkprisma in Richtung auf das Objektfeld 3 gelenkt, um dieses auszuleuchten. In der Beleuchtungsvorrichtung ist weiterhin eine Beleuchtungsoptik 45 vorhanden, die für eine gleichmäßige Ausleuchtung des gesamten beobachteten Objektfeldes 3 sorgt.
Es sei darauf hingewiesen, dass der in 1 dargestellte Beleuchtungsstrahlengang stark schematisiert ist und nicht notwendigerweise den tatsächlichen Verlauf des Beleuchtungsstrahlengangs wiedergibt. Grundsätzlich kann der Beleuchtungsstrahlengang als sogenannte Schrägbeleuchtung ausgeführt sein, die der schematischen Darstellung in 1 am nächsten kommt. In einer solchen Schrägbeleuchtung verläuft der Strahlengang in einem relativ großen Winkel (6° oder mehr) zur optischen Achse des Objektivs 5 und kann, wie in 1 dargestellt, vollständig außerhalb des Objektivs verlaufen. Alternativ besteht jedoch auch die Möglichkeit, den Beleuchtungsstrahlengang der Schrägbeleuchtung durch einen Randbereich des Objektivs 5 hindurch verlaufen zu lassen. Eine weitere Möglichkeit zur Anordnung des Beleuchtungsstrahlengangs ist die sogenannte 0°-Beleuchtung, bei der der Beleuchtungsstrahlengang durch das Objektiv 5 hindurch verläuft und zwischen den beiden Teilstrahlengängen 9A, 9B, entlang der optischen Achse des Objektivs 5 in Richtung auf das Objektfeld 3 in das Objektiv eingekoppelt wird. Schließlich besteht auch die Möglichkeit, den Beleuchtungsstrahlengang als sogenannte koaxiale Beleuchtung auszuführen, in der ein erster und ein zweiter Beleuchtungsteilstrahlengang vorhanden sind. Die Beleuchtungsteilstrahlengänge werden über einen oder mehrere Strahlteiler parallel zu den optischen Achsen der Beobachtungsteilstrahlengänge 9A, 9B in das Operationsmikroskop 2 eingekoppelt, so dass die Beleuchtung koaxial zu den beiden Beobachtungsteilstrahlengängen verläuft.
In der in 1 gezeigten Ausführungsvariante des Operationsmikroskops 2 besteht das Objektiv 5 lediglich aus einer festbrennweitigen Achromatlinse. Es kann jedoch auch ein Objektivlinsensystem aus mehreren Linsen Verwendung finden, insbesondere ein so genanntes Varioskopobjektiv, mit dem sich der Arbeitsabstand des Operationsmikroskops 2, d.h. der Abstand der objektseitigen Brennebene vom Scheitel der ersten objektseitigen Linsenfläche des Objektivs 5, auch Objektschnittweite genannt, variieren lässt. Auch vom Varioskopobjektiv 50 wird das in der Brennebene angeordnete Objektfeld 3 nach Unendlich abgebildet, so dass beobachterseitig ein paralleles Strahlenbündel vorliegt.
Ein Beispiel für ein Varioskopobjektiv ist schematisch in 2 dargestellt. Das Varioskopobjektiv 50 umfasst ein Positivglied 51, also ein optisches Element mit positiver Brechkraft, das in 2 schematisch als Konvexlinse dargestellt ist. Darüber hinaus umfasst das Varioskopobjektiv 50 ein Negativglied 52, also ein optisches Element mit negativer Brechkraft, das in 2 schematisch als Konkavlinse dargestellt ist. Das Negativglied 52 befindet sich zwischen dem Positivglied 51 und dem Objektfeld 3. Im dargestellten Varioskopobjektiv 50 ist das Negativglied 52 fix bzw. ortsfest angeordnet, wohingegen das Positivglied 51 wie durch den Doppelpfeil 53 angedeutet entlang der optischen Achse OA verschiebbar angeordnet ist. Wenn das Positivglied 51 in die in 2 gestrichelt dargestellte Position verschoben wird, verlängert sich die Schnittweite, so dass sich der Arbeitsabstand des Operationsmikroskops 2 vom Objektfeld 3 ändert.
Obwohl in 2 das Positivglied 51 verschiebbar ausgestaltet ist, besteht grundsätzlich auch die Möglichkeit, das Negativglied 52 statt des Positivglieds 51 entlang der optischen Achse OA bewegbar anzuordnen. Das Negativglied 52 bildet jedoch häufig die Abschlusslinse des Varioskopobjektivs 50. Ein feststehendes Negativglied 52 bietet daher den Vorteil, dass das Innere des Operationsmikroskops 2 leichter gegen äußere Einflüsse abgedichtet werden kann. Weiterhin sei angemerkt, dass, obwohl das Positivglied 51 und das Negativglied 52 in 2 lediglich als Einzellinsen dargestellt sind, jedes dieser Glieder statt in Form einer Einzellinse auch in Form einer Linsengruppe oder eines Kittglieds realisiert sein kann, bspw. um das Varioskopobjektiv achromatisch oder apochromatisch auszubilden.
3 zeigt ein Beispiel für ein digitales Operationsmikroskop 48 in einer schematischen Darstellung. Bei diesem Operationsmikroskop 48 unterscheiden sich das Hauptobjektiv 5, der Vergrößerungswechsler 11 sowie das Beleuchtungssystem 41, 43, 45 nicht von dem in 1 dargestellten Operationsmikroskop 2 mit optischem Einblick. Der Unterschied liegt darin, dass das in 3 gezeigte Operationsmikroskop 48 keinen optischen Binokulartubus umfasst. Statt der Tubusobjektive 29A, 29B aus 1 umfasst das Operationsmikroskop 48 aus 3 Fokussierlinsen 49A, 49B mit denen die binokularen Beobachtungsstrahlengänge 9A, 9B auf digitale Bildsensoren 61A, 61B abgebildet werden. Die digitalen Bildsensoren 61A, 61B können dabei beispielsweise CCD-Sensoren oder als CMOS-Sensoren sein. Die von den Bildsensoren 61A, 61B aufgenommenen Bilder werden digital an digitale Displays 63A, 63B gesendet, die als LED-Displays, als LCD-Displays oder als auf organischen Leuchtioden (OLEDs) beruhende Displays ausgebildet seien können. Den Displays 63A, 63B können wie im vorliegenden Beispiel Okularlinsen 65A, 65B zugeordnet sein, mit denen die auf den Displays 63A, 63B dargestellten Bildern nach unendlich abgebildet werden, so dass ein Betrachter sie mit entspannten Augen betrachten kann. In diesem Operationsmikroskop bilden die Displays 63A, 63B und die Okularlinsen 65A, 65B das medizinisch-optische Darstellungssystem. Die Dateneinblendeinheit ist dabei eine digitale Einheit zur Einblendung eines Bilddatensatzes in wenigstens eines der auf den Displays 63A, 63B dargestellten Bilder. Dem entsprechenden Bild wird der des Bilddatensatz elektronisch überlagert. Die Displays 63A, 63B und die Okularlinsen 65A, 65B können Teil eines digitalen Binokulartubus sein, sie können aber auch Teil eines am Kopf zu tragenden Displays (Head-Mounted Display, HMD) wie etwa einer Datenbrille sein. Das Head-Mounted Display kann als Virtual-Reality Display oder als Augmented-Reality Display ausgebildet sein.
Obwohl in 3 wie in 1 lediglich eine Achromatlinse 5 mit einer festen Brennweite dargestellt ist, kann das in 3 gezeigte Operationsmikroskop 48 wie das in 1 dargestellte Operationsmikroskop 2 ein Varioskopobjektiv statt der Objektivlinse 5 umfassen. Weiterhin ist in 3 eine Übertragung der von den Bildsensoren 61A, 61B aufgenommenen Bilder an die Displays 63A, 63B mittels Leitungen 67A, 67B gezeigt. Statt Leitungsgebunden können die Bilder jedoch auch drahtlos an die Displays 63A, 63B übertragen werden, insbesondere dann, wenn die Displays 63A, 63B Teil eines Head-Mounted Displays sind.
Es wird nun zusätzlich auf die 4 Bezug genommen.
Dargestellt ist ein Szenario, bei dem ein Operateur mit Hilfe des medizinisch-optischen Darstellungssystems ein mit dem Operationsmikroskop 2 vom Objekt O gewonnenes Objektbild OB betrachtet. Das Objekt O kann ein Einzelobjekt oder eine Gruppe von Objekten sein. Ferner kann das Objekt O auch ein Bereich sein, wie z.B. ein Operationsfeld, sodass es sich auch um eine Region of Interest (ROI) handeln kann. Die übrigen Bereiche des Objektbilds OB zeigen dann die Umgebung des Operationsfelds. Angemerkt sei, dass das Objektbild OB den Strahlengang des in 1 dargestellten Operationsmikroskops 2 oder des in 3 gezeigten Operationsmikroskops 48 durchläuft. Mit anderen Worten, es handelt sich bei den Objektbildern um optische Daten, die optisch oder elektronisch dargestellt werden.
Um Zusatzinformationen, wie z.B. Statusmeldungen eines Gerätes, dem Operateur bereitzustellen, weist das medizinisch-optische Darstellungssystem eine Einrichtung zur Dateneinblendung von einem Bilddatensatz BD in das Objektbild OB auf, wobei die Visualisierung des Bilddatensatzes BD die Zusatzinformationen bereitstellt. Die Einrichtung hierfür umfasst z.B. die Schnittstellenanordnung 13B mit dem Strahlteilerprisma 15B sowie das Display 37 mit der zugeordneten Optik 39. Es wird also im Betrieb der in elektronischer Form vorliegende Bilddatensatz BD von dem Display 37 in optische Daten umgewandelt und in den Strahlengang des Operationsmikroskops 2 eingekoppelt bzw. eingespiegelt. Abweichend hiervon kann das Einblenden auch ein elektronisches Überlagern von Bildinhalten umfassen, d.h. der Bilddatensatz BD liegt in elektronischer Form vor und wird in elektronisch vorliegende Bilder (wie dies bspw. in dem in 3 gezeigten Operationsmikroskop 48 der Fall ist) eingesetzt, indem er einen Abschnitt des Bildes ersetzt oder elektronisch transparent oder intransparent überlagert.
Es wird nun in zusätzlicher Bezugnahme auf die 5 der Aufbau einer Vorrichtung 70 erläutert, die im Betrieb sicherstellt, dass es bei der Dateneinblendung des Bilddatensatzes BD zu keiner Überlagerung mit relevanten Bildinhalten des Objektbildes OB kommt.
Die Vorrichtung 70 weist im vorliegenden Ausführungsbeispiel eine Bereichsbestimmungseinheit 72 und eine Dateneinblendeinheit 74 auf. Mit der Bereichsbestimmungseinheit 72 kann ein Bereich B mit geringer Aktivität innerhalb der Objektbilder OB bestimmt werden, während mit der Dateneinblendeinheit 74 der Bilddatensatz BD in diesen Bereich B eingeblendet werden kann. Ein Bereich B mit geringer Aktivität kann hierbei bspw. ein Bereich in dem Objektbild OB sein, in dem der Operateur nicht tätig ist und es deswegen nur zu geringfügigen Veränderungen von Bildinhalten kommt. Nicht geringfügige Veränderungen bzw. eine hohe Variabilität der Bildinhalte liegen z.B. dann vor, wenn ein Operateur in dem entsprechenden Gebiet mit seinen Fingern aktiv ist oder ein chirurgisches Instrument sich bewegt. Dadurch verändern sich Intensitätswerte der jeweiligen Pixel stark.
Die Bereichsbestimmungseinheit 72 weist im vorliegenden Ausführungsbeispiel eine Einleseeinheit 76, eine Auswerteeinheit 80, eine Vergleichseinheit 82, eine Clustereinheit 84 und eine Festlegeeinheit 86 auf.
Die Einleseeinheit 76 liest die Rohbilddatensätze RD ein. Die Rohbilddatensätze RD bilden eine zeitliche Sequenz von einzelnen Objektbildern OB, welche den zeitlichen Verlauf des in den Objektbildern OB gezeigten Geschehens wiedergeben. Die Rohbilddatensätze RD können hierbei eine Videosequenz eines vom Objekt O aufgenommenen Videostreams sein. Die Rohbilddatensätze können dabei bspw. mittels der Kamera 21 aus 1 oder mittels der Bildsensoren 61A, 61B aus 3 generiert werden. Wenn mehrere Kameras 21 Verwendung finden, werden die jeweiligen Rohbilddatensätze zunächst fusioniert (registriert oder gestitcht). Vorzugsweise enthalten die Rohbilddatensätze RD nicht den eingeblendeten Bilddatensatz BD, zumindest dann, wenn der eingeblendete Bilddatensatz BD zeitlich variable Bildinhalte enthält.
Die Auswerteeinheit 80 ermittelt die zeitliche Variabilität V von Bildpunkten der Rohbilddatensätze. Diese ist repräsentativ für zeitliche Änderungen in dem von den Bildpunkten repräsentierten Bildabschnitt. Dabei können die Bildpunkte entweder die Pixel der Rohbilddatensätze RD oder Pixelgruppen aus 2x2, 2x3, 2x4, 3x3, 3x4, 4x4, etc. Pixeln der Rohbilddatensätze RD sein. Die zeitliche Variabilität kann dabei bspw. durch die Summe von Beträgen von Pixelwertdifferenzen zwischen denselben Pixeln in zeitlich aufeinander folgenden Rohbildern ermittelt werden. Je häufiger Pixelwertdifferenzen mit großen Beträgen auftreten, desto größer wird die Summe. Bei Pixelwertdifferenzen mit lediglich kleinen Beträgen bleibt die Summe dagegen klein. Im Falle von Pixelgruppen kann entsprechend die Summe von Beträgen von Differenzen von über die Pixelgruppen gemittelten Pixelwerten aufsummiert werden. Beim Bilden der Summen werden vorzugsweise Objektbilder herangezogen, die ausgehend vom aktuellen Objektbild eine bestimmte Zeitdauer zurückreichen. Diese Zeitdauer kann einstellbar sein, um sie an unterschiedliche zeitliche Dynamiken von Bildinhalten anpassen zu können. Sich rasch verändernde Bildinhalte benötigen dabei eine kleinere Zeitdauer als sich langsam verändernde Bildinhalte.
Die Vergleichseinheit 82 vergleicht die zeitliche Variabilität V mit einem vorgegebenen Variabilitätsgrenzwert GV. Dieser kann einstellbar sein, um die in den Bereichen B mit wenig Aktivität zu erwartende zeitliche Variabilität V der Bildpunkte berücksichtigen zu können. Ist in dem Bereichen B mit relativ wenig zeitlicher Variabilität V zu rechnen, kann der Variabilitätsgrenzwert niedriger gehalten werden, als wenn mit relativ hoher (aber immer noch niedrigerer als in den Bereichen mit hoher Aktivität) zeitlicher Variabilität V in dem Bereichen B zu rechnen ist.
Die Clustereinheit 84 clustert diejenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert GV liegt. Als Ergebnis des Clusterns werden ein oder mehrere zusammenhängende Gebiete mit geringer zeitlicher Variabilität gebildet. Optional kann zudem eine Bildverarbeitungseinheit vorhanden sein, die mittels morphologischer Bildverarbeitung einzelne der zusammenhängenden Gebiete mit niedriger zeitlicher Variabilität zu einem größeren zusammenhängenden Gebiet mit niedriger zeitlicher Variabilität vereinigt. Die Festlegeeinheit 86 legt dann das wenigstens eine zusammenhängende Gebiet mit geringer zeitlicher Variabilität als den Bereich B mit geringer Aktivität fest.
Die Dateneinblendeinheit 74 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, zur Bestimmung des Ortes im Bereich B mit geringer Aktivität, an dem die Einblendung des Bilddatensatzes erfolgt, Größe und/oder Form des Bilddatensatzes BD zu berücksichtigen, um die Einblendung an einer für die Größe und Form des einzublendenden Bilddatensatzes BD geeigneten Stelle im Bereich B mit geringer Aktivität vorzunehmen..
Es wird nun unter zusätzlicher Bezugnahme auf 6 ein Verfahren erläutert, mit dem sichergestellt wird, dass es bei der Dateneinblendung von dem Bilddatensatz BD zu keiner Überlagerung mit Bildinhalten des Objektbildes OB kommt. Hierzu wird in einem ersten Schritt S100 ein Bereich B mit geringer Aktivität innerhalb des Objektbildes OB ermittelt. In einem weiteren Schritt S200 erfolgt dann das Einblenden des Bilddatensatzes BD in den ermittelten Bereich B.
Zum Ermitteln des Bereichs B mit geringer Aktivität werden im Zwischenschritt S110 Rohbilddatensätze RD des Objektbildes OB erfasst und die zeitliche Variabilität von Bildpunkten der Rohbilddatensätze V ermittelt (Zwischenschritt 120). Die ermittelte zeitliche Variabilität V wird mit einem vorgegebenen Variabilitätsgrenzwert GV verglichen (Zwischenschritt S130), und diejenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert GV liegt, werden geclustert (Zwischenschritt S140), um wenigstens ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität zu erzeugen. Schließlich wird das wenigstens eine zusammenhängende Gebiete mit geringer zeitlicher Variabilität als Bereich B mit geringer Aktivität festgelegt (Zwischenschritt S150).
In einer Weiterbildung des Verfahrens kann eine Tiefenkarte des Beobachtungsobjekts dazu dienen, bestimmte Bereiche, in denen eine hohe Aktivität zu erwarten ist, von vornherein auszuschließen. Beispielsweise im Falle tiefer Operationskanäle ist eine hohe Aktivität insbesondere im Bereich der Operationskanäle zu erwarten.
Die Schritte, mit denen ein Bereich B mit geringer Aktivität innerhalb des Objektbildes OB ermittelt wird, können mit einem geeigneten Algorithmus ausgeführt werden. Ein möglicher algorithmischer Ansatz ist bspw. eine Analyse mittels eines optischen Flusses oder mittels maschinellen Lernens, etwa mit Neuronalen Netzen. Das Verfahren kann auf einem PC bzw. Computer durchgeführt werden, der datenübertragend mit der medizinisch-optischen Beobachtungsvorrichtung verbunden ist, um die Daten der Kamera 21 einzulesen und den Bilddatensatz BD zum Ansteuern des Display 37 auszugeben. Hierzu kann der PC bzw. Computer entsprechende Hard- und/oder Softwarekomponenten aufweisen. Alternativ kann das Verfahren auch mit einer Rechnerbaugruppe mit entsprechenden Hard- und/oder Softwarekomponenten durchgeführt werden, die zu der medizinisch-optischen Beobachtungsvorrichtung gehört.
Die vorliegende Erfindung wurde anhand von Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass im Rahmen der vorliegenden Erfindung von den Ausführungsbeispielen abgewichen werden kann. Abweichend von den vorliegenden Ausführungsbeispielen kann das medizinisch-optische Darstellungssystem bspw. als Teil eines Endoskops oder Endomikroskops ausgebildet sein. Ein Fachmann wird weitere Möglichkeiten erkennen, die Ausführungsbeispiele im Rahmen der Erfindung abzuwandeln. Die vorliegende Erfindung soll daher nicht auf die beschriebenen Ausführungsbeispiele beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
Bezugszeichenliste

2: Operationsmikroskop
3: Operationsfeld / Beobachtungsobjekt
5: Objektiv
7: Strahlenbündel
9: Strahlenbünde
9A: stereoskopischer Teilstrahlengang
9B: stereoskopischer Teilstrahlengang
11: Vergrößerungswechsler
13A: Schnittstellenanordnung
13B: Schnittstellenanordnung
15A: Strahlteilerprisma
15B: Strahlteilerprisma
19: Kameraadapter
21: Kamera
23: Bildsensor
27: Binokulartubus
29A: Tubusobjektiv
29B: Tubusobjektiv
31A: Zwischenbildebene
31B: Zwischenbildebene
33A: Prisma
33B: Prisma
35A: Okularlinse
35B: Okularlinse
37: Display
39: Optik
41: Weißlichtquelle
43: Umlenkspiegel
45: Beleuchtungsoptik
48: Operationsmikroskop
49A: Fokussierlinse
49B: Fokussierlinse
50: Vario-Objektiv
51: Positivglied
52: Negativglied
53: Doppelpfeil
61A: Bildsensor
61B: Bildsensor
63A: Display
63B: Display
65A: Okularlinse
65B: Okularlinse
67A: Leitung
67B: Leitung
70: Vorrichtung
72: Bereichsbestimmungseinheit
74: Dateneinblendeinheit
76: Einleseeinheit
80: Auswerteeinheit
82: Clustereinheit
84: Vergleichseinheit
86: Festlegeeinheit
B: Bereich
BD: Bilddatensatz
O: Objekt
OA: optische Achse
OB: Objektbild
RD: Rohbilddatensatz
V: Variabilität
GV: Variabilitätsgrenzwert
S100: Bestimmen eines Bereichs mit geringer Aktivität
S110: Erfassen von Rohbilddatensätzen
S120: Ermitteln der zeitlichen Variabilität von Bildpunkten
S130: Vergleichen der zeitlichen Variabilität mit einem vorgegebenen Variabilitätsgrenzwert
S140: Clustern
S150: Festlegen des Bereichs mit geringer Aktivität.
S200: Einblenden des Bilddatensatzes

Claims

Verfahren zum Betreiben eines medizinisch-optischen Darstellungssystems zum Darstellen eines mit einer medizinisch-optischen Beobachtungsvorrichtung (2, 48) gewonnenen Objektbilds (OB) von einem beobachteten Objekt (O), wobei das medizinisch-optische Darstellungssystem eine Dateneinblendeinheit (74) zur Dateneinblendung wenigstens eines Bilddatensatzes (BD) in das Objektbild (OB) umfasst, mit den Schritten: - (S100) Bestimmen wenigstens eines Bereichs (B) mit geringer Aktivität innerhalb des Objektbildes (OB) und - (S200) Einblenden des wenigstens einen Bilddatensatzes (BD) in den wenigstens einen Bereich (B) mit geringer Aktivität.
Verfahren nach Anspruch 1, wobei zum Bestimmen des Bereichs (B) folgende Zwischenschritte ausgeführt werden: - (S110) Erfassen von Rohbilddatensätzen (RD), welche eine zeitliche Sequenz von einzelnen Objektbildern (OB) darstellen, - (S120) Ermitteln der zeitlichen Variabilität von Bildpunkten der Rohbilddatensätze (V), - (S130) Vergleichen der zeitlichen Variabilität (V) mit einem vorgegebenen Variabilitätsgrenzwert (GV), und - (S140) Clustern derjenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert (GV) liegt, um wenigstens ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität zu erzeugen, und - (S150) Festlegen des wenigstens einen zusammenhängenden Gebietes mit geringer zeitlicher Variabilität als den wenigstens einen Bereich (B) mit geringer Aktivität.
Verfahren nach Anspruch 2, wobei durch Bildverarbeitung einzelne zusammenhängende Gebiete mit geringer zeitlicher Variabilität zu einem größeren zusammenhängenden Gebiet mit geringer zeitlicher Variabilität vereinigt werden und wobei das größere zusammenhängende Gebiet mit geringer zeitlicher Variabilität als der wenigstens eine Bereich (B) mit geringer Aktivität festgelegt wird.
Verfahren nach Anspruch 2 oder 3, wobei die Bildpunkte die Pixel der Rohbilddatensätze (RD) sind.
Verfahren nach Anspruch 2 oder 3, wobei die Bildpunkte aus Pixeln zusammengesetzte Pixelgruppen der Rohbilddatensätze (RD) sind.
Verfahren nach einem der Ansprüche 1 bis 5, wobei die Bestimmung des Ortes in dem wenigstens einen Bereich (B) mit geringer Aktivität, an dem die Einblendung des Bilddatensatzes (BD) erfolgt, unter Berücksichtigung der Größe und/oder Form des im Bilddatensatz (BD) dargestellten Bildinhalts erfolgt.
Verfahren nach einem der Ansprüche 1 bis 6, wobei eine Tiefenkarte des Beobachtungsobjekts (O) dazu herangezogen wird, bestimmte Bereiche in den Rohbilddatensätzen (RD), in denen eine hohe Aktivität zu erwarten ist, von vornherein als den wenigstens einen Bereich (B) mit geringer Aktivität auszuschließen, und/oder wobei anhand einer Mustererkennung Bereiche in den Rohbilddatensätzen (RD), in denen Gerätedisplays oder Gesichter abgebildet sind, erkannt und von vornherein als der wenigstens einen Bereich (B) mit geringer Aktivität ausgeschlossen werden.
Computerprogrammprodukt enthaltend Programmcode mit computerlesbaren Anweisungen zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 7, wenn der Programmcode in einen Computer geladen und/oder in einem Computer ausgeführt wird.
Medizinisch-optisches Darstellungssystem zum Darstellen eines mit einer medizinisch-optischen Beobachtungsvorrichtung (2, 48) gewonnenen Objektbilds (OB) mit - einer Dateneinblendeinheit (74), die dazu ausgebildet ist, wenigstens einen Bilddatensatz (BD) in das Objektbild (OB) einzublenden, und - einer Bereichsbestimmungseinheit (72), die dazu ausgebildet ist, wenigstens einen Bereich (B) mit geringer Aktivität innerhalb des Objektbildes (OB) zu bestimmen, wobei die Dateneinblendeinheit (74) dazu ausgebildet ist, den wenigstens einen Bilddatensatz (BD) in den wenigstens einen Bereich (B) des Objektbilds (OB) mit geringer Aktivität einzublenden.
Medizinisch-optisches Darstellungssystem nach Anspruch 9, welches außerdem eine medizinisch-optische Beobachtungsvorrichtung (2, 48) zum Beobachteten eines Objekts (O) und zum Aufnehmen eines Bildes des beobachteten Objekts (O) als das Objektbild (OB) umfasst.
Medizinisch-optisches Darstellungssystem nach Anspruch 9 oder Anspruch 10, wobei die Bereichsbestimmungseinheit (72) umfasst: - eine Einleseeinheit (76) zum Einlesen von Rohbilddatensätzen (RD), welche eine zeitliche Sequenz von einzelnen Objektbildern (OB) darstellen, - eine Auswerteinheit (80) zum Ermitteln der zeitlichen Variabilität von Bildpunkten der Rohbilddatensätze (V), - eine Vergleichseinheit (82) zum Vergleichen der zeitlichen Variabilität (V) mit einem vorgegebenen Variabilitätsgrenzwert (GV), - eine Clustereinheit (84) zum Clustern derjenigen Bildpunkte, deren ermittelte zeitliche Variabilität unter dem Variabilitätsgrenzwert (GV) liegt, um wenigstens ein zusammenhängendes Gebiet mit geringer zeitlicher Variabilität zu erzeugen, und - eine Festlegeeinheit (86) zum Festlegen des wenigstens einen zusammenhängenden Gebietes mit geringer zeitlicher Variabilität als den wenigstens einen Bereich (B) mit geringer Aktivität.
Medizinisch-optisches Darstellungssystem nach Anspruch 11, wobei - eine Bildverarbeitungseinheit (85) vorhanden ist, die mittels Bildverarbeitung einzelne zusammenhängende Gebiete mit niedriger zeitlicher Variabilität zu einem größeren zusammenhängenden Gebiet mit niedriger zeitlicher Variabilität vereinigt, und - die Festlegeeinheit (86) dazu ausgestaltet ist, das größere zusammenhängende Gebiet mit geringer zeitlicher Variabilität als den wenigstens einen Bereich (B) mit geringer Aktivität festzulegen.
Medizinisch-optisches Darstellungssystem nach Anspruch 11 oder Anspruch 12, wobei die Bildpunkte die Pixel der Rohbilddatensätze (RD) sind.
Medizinisch-optisches Darstellungssystem nach Anspruch 11 oder Anspruch 12, wobei die Bildpunkte aus Pixeln zusammengesetzte Pixelgruppen der Rohbilddatensätze (RD) sind.
Medizinisch-optisches Darstellungssystem nach einem der Ansprüche 9 bis 14, wobei die Dateneinblendeinheit (74) dazu ausgebildet ist, zur Bestimmung des Ortes in dem wenigstens einen Bereich (B) mit geringer Aktivität, an dem die Einblendung des wenigstens einen Bilddatensatzes (BD) erfolgt, Größe und/oder Form des im Bilddatensatz (BD) dargestellten Bildinhalts zu berücksichtigen.
Medizinisch-optisches Darstellungssystem nach einem der Ansprüche 9 bis 15, wobei die Bereichsbestimmungseinheit (72) eine Vorauswahleinrichtung umfasst, die anhand einer Tiefenkarte des Beobachtungsobjekts (O) bestimmte Bereiche in den Rohbilddatensätzen (RD), in denen eine hohe Aktivität zu erwarten ist, von vornherein als den wenigstens einen Bereich (B) mit geringer Aktivität ausschließt und/oder die anhand einer Mustererkennung Bereiche in den Rohbilddatensätzen (RD), in denen Gerätedisplays oder Gesichter abgebildet sind, von vornherein als den wenigstens einen Bereich (B) mit geringer Aktivität ausschließt.