DE102017115432A1

DE102017115432A1 - Medizinisches bildgebendes System

Info

Publication number: DE102017115432A1
Application number: DE102017115432.9A
Authority: DE
Inventors: Klaus-Martin Irion; Peter Schwarz
Original assignee: Karl Storz SE and Co KG
Current assignee: Karl Storz SE and Co KG
Priority date: 2017-07-10
Filing date: 2017-07-10
Publication date: 2019-01-10

Abstract

Nach einem Aspekt wird ein medizinisches bildgebendes System aufgezeigt, das einen Bildsensor aufweist, der dafür ausgebildet ist, ein Bild mit einer Vielzahl von Pixeln auf der Grundlage der optischen Strahlung aus dem interessierenden Bereich, der den Bildsensor erreicht, zu erzeugen; einen Tiefenkartensensor, der ausgebildet ist, um eine Tiefenkarte eines interessierenden Felds zu erzeugen, wobei das interessierende Feld den interessierenden Bereich zumindest teilweise überlappt und die Tiefenkarte Informationen aufweist, die es ermöglichen, zumindest ein erstes Pixel der Vielzahl von Pixeln zu identifizieren, das weiter von dem Bildsensor entfernt ist als zumindest ein zweites Pixel der Vielzahl von Pixeln, und eine Helligkeitssteuerung, die ausgebildet ist, um in einem ersten Modus zu arbeiten, der die Helligkeit des Bildes basierend auf dem zumindest einen ersten Pixel steuert.

Description

Technisches Gebiet
Die Offenlegung bezieht sich im Allgemeinen auf den Bereich der Bilderfassung und speziell auf die Helligkeitssteuerung in einem medizinischen bildgebenden System.
Technischer Hintergrund
Bei der Erzeugung von Bildern, insbesondere Videobildern, im chirurgischen Kontext, z.B. in der Neurochirurgie, der HNO-Heilkunde oder in Verbindung mit röhrenförmigen Hohlorganen, ist es schwierig, die Helligkeit oder die Belichtung eines Bildes zu steuern. Ohne eine spezielle Steuerung erzeugt das medizinische bildgebende System typischerweise Bilder, die für den Benutzer zu dunkel oder zu hell erscheinen. Um dem Anwender die Kontrolle über die Helligkeit eines Bildes zu geben, haben medizinische bildgebende Systeme eine automatische Belichtungskontrolle eingesetzt, wie sie allgemein bekannt ist. Das heißt, je mehr Licht den Bildsensor erreicht, desto kürzer ist die Zeit, in der der Verschluss offen bleibt oder der Bildchip lichtempfindlich bleibt. Dieser automatische Ansatz ist jedoch in der Regel nicht in der Lage, die Erwartungen des Anwenders zu erfüllen.
Ein weiterer Ansatz war es, dem Anwender die direkte Kontrolle über die Lichtquelle zu geben, die die Operationsstelle beleuchtet. Das heißt, wenn der Anwender das Bild zu dunkel findet, kann er die Lichtintensität der Lichtquelle erhöhen und umgekehrt. Dieser Ansatz erfordert jedoch eine kontinuierliche Anpassung der Lichtintensität.
Ein weiterer Ansatz, wie er in der EP 2 256 688 B1 beschrieben ist, erlaubt es dem Anwender, einen interessierenden Bereich in einem Bild zu definieren, bei dem die Ausgabe des Bildsystems eine Kombination aus dem Gesamtbild, das mit einer ersten Belichtung erzeugt wurde, und dem interessierenden Bereich, der mit einer zweiten Belichtung aufgenommen wurde, ist. Dieser Ansatz stellt jedoch eine erhebliche Belastung für den Anwender bei der Definition der gewünschten Region dar.
Daher besteht nach wie vor Bedarf an einem medizinischen bildgebenden System und einem entsprechenden Verfahren, das die Helligkeit eines Bildes besser auf die Erwartungen des Anwenders abstimmt.
Zusammenfassung der Erfindung
Ziel der Erfindung ist es, die Helligkeit von Bildern, z.B. von Endoskopen oder anderen bildgebenden Geräten, so zu steuern, dass der Anwender eine gute visuelle Wahrnehmung einer Operationsstelle hat und einzelne Merkmale der Operationsstelle, die abgebildet werden, erkennen kann.
Nach einem ersten Aspekt der Offenbarung ist ein medizinisches bildgebendes System vorgesehen, das einen Bildsensor aufweist, der dafür ausgebildet ist, ein Bild von mindestens einem interessierenden Bereich zu erzeugen, wobei das Bild eine Vielzahl von Pixeln aufweist, die auf optischer Strahlung aus dem interessierenden Bereich basieren, die den Bildsensor erreicht; einen Tiefenkartensensor (depth map sensor), der ausgebildet ist, um eine Tiefenkarte (depth map) eines interessierenden Felds zu erzeugen, wobei das interessierende Feld den interessierenden Bereich zumindest teilweise überlappt und die Tiefenkarte Informationen aufweist, die es ermöglichen, mindestens ein erstes Pixel der Vielzahl von Pixeln zu identifizieren, das weiter von dem Bildsensor entfernt ist als mindestens ein zweites Pixel der Vielzahl von Pixeln, und eine Helligkeitssteuerung, die ausgebildet ist, um in einem ersten Modus zu arbeiten, der die Helligkeit des Bildes basierend auf dem mindestens einen ersten Pixel steuert.
Bei der Lösung der obigen Aufgabes wurde den Erfindern klar, dass der Anwender, der ein medizinisches Bild, insbesondere eine Reihe von medizinischen Bildern als Video betrachtet, typischerweise nur an einem kleinen Teil des Gesamtbildes interessiert ist, das vom Bildsensor erzeugt wird. Dieser Teil wird im Folgenden als interessierender Bereich bezeichnet.
Folglich haben die Erfinder festgestellt, dass bei der Steuerung der Helligkeit eines Bildes auf das Gesamtbild der eigentliche interessierende Bereich nur eine geringe Rolle bei der Steuerung der Helligkeit spielen kann, auch wenn es ja tatsächlich um diesen interessierenden Bereich geht, den der Anwender klar erkennen möchte.
Schließlich stellten die Erfinder fest, dass gerade in der Neurochirurgie, der Otolaryngologie oder bei röhrenförmigen Hohlorganen der interessierende Bereich oft dem Bereich des Gesamtbildes zuzuordnen ist, der weiter vom bildgebenden Sensor entfernt ist, insbesondere der am weitesten vom bildgebenden Sensor entfernt ist.
Angesichts dieser neuen Erkenntnisse, die von den Erfindern identifiziert wurden, weist das medizinische bildgebende System nach der vorliegenden Offenbarung einen Tiefenkartensensor auf, der so ausgebildet ist, dass er eine Tiefenkarte eines Interessengebietes erzeugt, in dem sich das Interessengebiet zumindest teilweise überlappt.
Wie im Hinblick auf die vorliegende Lehre erforderlich, wird die Tiefenkarte Informationen enthalten, die es ermöglichen, mindestens ein erstes Pixel aus der Vielzahl der vom Bildsensor erzeugten Pixel des Bildes zu identifizieren, wobei dieses erste Pixel weiter vom Bildsensor entfernt ist als mindestens ein zweites Pixel aus der Vielzahl der Pixel.
Bei beispielhaften Ausgestaltungen enthält die Tiefenkarte Informationen, die es erlauben, eine erste Vielzahl von Pixeln zu identifizieren, die weiter entfernt sind als eine zweite Vielzahl von Pixeln. Für andere beispielhafte Ausgestaltungen wird die Tiefenkarte für mindestens eine Teilmenge von Pixeln innerhalb des Interessengebietes den individuellen Abstand für jedes Pixel von der Teilmenge von Pixeln zum Bildsensor enthalten. Für einige beispielhafte Ausgestaltungen haben alle Pixel der interessierenden Region, die vom Interessengebiet abgedeckt werden, eine zugehörige Tiefeninformation. Darüber hinaus erzeugt der Tiefenkartensensor in einigen beispielhaften Ausgestaltungen eine Tiefenkarte, die alle Pixel der interessierenden Region oder sogar alle Pixel enthält, die das Bild bilden, das vom Bildsensor erzeugt wird.
Es wird darauf hingewiesen, dass die Terminologie „ein Pixel in einem Abstand vom Bildsensor“ eine Kurzform dafür ist, dass sich ein Bereich einer Szenerie, der optische Strahlung aussendet, die vom Bildsensor empfangen und dann durch ein Pixel im Bild repräsentiert wird, in einem Abstand vom Bildsensor befindet. Mit anderen Worten, es ist der Abstand vom Bildsensor eines Bereiches einer Szenerie, der von einem Pixel abgebildet wird, der in der Kurzform kurz als „Abstand eines Pixels vom Bildsensor“ bezeichnet wird. Oder die Terminologie „ein erstes Pixel weiter vom Bildsensor entfernt als ein zweites Pixel“ ist eine Kurzform für die Aussage, dass ein erster Bereich einer Szenerie, die optische Strahlung aussendet, die vom Bildsensor empfangen und dann durch das erste Pixel im Bild repräsentiert wird, einen größeren Abstand vom Bildsensor hat als ein zweiter Bereich der Szenerie, der optische Strahlung aussendet, die vom Bildsensor empfangen und dann durch das zweite Pixel im Bild repräsentiert wird. Die verschiedenen Kurzformen sollen die Erklärung des technischen Konzepts vereinfachen, um den neuen Ansatz leichter zu vermitteln.
Mit den Informationen aus der Tiefenkarte kann das mindestens eine erste Pixel, insbesondere eine erste Vielzahl von Pixeln, als das/die Pixel identifiziert werden, die den Benutzer, der das medizinische Bild betrachtet, wahrscheinlich interessieren werden. Daher steuert die Helligkeitsregelung zumindest in einem ersten Modus die Helligkeit des Bildes auf der Grundlage des mindestens einen ersten Pixels. Das heißt, ähnlich wie bei der Steuerung der Helligkeit eines Bildes auf Basis des Gesamtbildes, d.h. unter Berücksichtigung aller Pixel des Bildes, wird die Helligkeit nun auf Basis des mindestens einen ersten Pixels oder der ersten Vielzahl von Pixeln gesteuert. Bei beispielhaften Ausgestaltungen werden alle anderen Pixel, die nicht in dem mindestens einen ersten Pixel bzw. nicht in der ersten Vielzahl von Pixeln enthalten sind, nicht für die Helligkeitssteuerung berücksichtigt, wenn die Helligkeitssteuerung im ersten Modus arbeitet.
Nach einigen Beispielen kann der Tiefenkartensensor die Tiefeninformation aus den Laufzeitinformationen (time-of-flight information) des Bildsensors oder eines Kameramoduls erfassen. Einige entsprechende Laufzeit-Systeme verwenden einen speziellen Bildsensor, typischerweise einen Nah-Infrarot-Sensor, der die Laufzeit des aus der Szenerie austretenden und zum Bildsensor gelangenden Lichts bestimmt. Andere beispielhafte Ausgestaltungen verwenden ein System, das bestimmte Muster in die Szene projiziert und die von der Szenerie reflektierten Muster analysiert, um Tiefeninformationen zu erhalten. Solche Systeme können ein strukturiertes Licht verwenden, das es erlaubt, Regionen in größerer Entfernung vom Bildsensor mit mehr Licht zu versorgen als andere Regionen in der Nähe des Bildsensors. Diese Systeme können auch zur Triangulation verwendet werden. Weitere beispielhafte Ausgestaltungen liefern dem Tiefenkartensensor stereoskopische Bilder, aus denen sich die gewünschte Tiefenkarte ableiten lässt. Einige Systeme verwenden zwei verschiedene Objektive oder Linsensysteme, um zwei Bilder zu erhalten, die aus zwei verschiedenen Positionen aufgenommen werden. Dies kann z.B. ein Bildsensor sein, bei dem ein erster Bereich dem ersten Bild und ein zweiter Bereich dem zweiten Bild zugeordnet ist, oder ein Bildsensor dem ersten Bild und ein zweiter Bildsensor dem zweiten Bild zugeordnet ist. Für jede Ausgestaltung kann der Bildsensor, der ausgebildet ist, um ein Bild von mindestens einer Region von Interesse zu erzeugen, auch für die Erstellung der Tiefenkarte verwendet werden, insbesondere für Triangulationszwecke.
Im ersten Modus wird die Helligkeit des Bildes auf der Grundlage mindestens eines ersten Pixels gesteuert, das weiter vom Bildsensor entfernt ist als mindestens ein zweites Pixel, das sich von dem mindestens einen ersten Pixel unterscheidet. Da die Tiefenkarte automatisch generiert werden kann, kann die Steuerung der Helligkeit automatisch detektiert werden. Weiterhin ist es möglich, die Helligkeit wiederholt oder sogar kontinuierlich anzupassen, da die Tiefenkarte kontinuierlich oder sogar kontinuierlich aktualisiert werden kann und die Steuerung der Helligkeit auf einer laufenden Baisse durchgeführt oder angepasst werden kann. Für einige beispielhafte Ausgestaltungen wird die Tiefenkarte für jedes vom Bildsensor erzeugte Bild generiert. Bei bestimmten beispielhaften Ausgestaltungen wird die Steuerung der Helligkeit bei jeder Erstellung der Tiefenkarte durchgeführt bzw. angepasst. Bei einigen beispielhaften Ausgestaltungen weist mindestens einer der Bereiche und das Interessengebiet alle Pixel des Bildes auf, wie sie der Bildsensor liefert.
Nach einer beispielhaften Ausgestaltung ist das mindestens eine erste Pixel am weitesten vom Bildsensor entfernt.
Da die Tiefenkarte Informationen enthält, die anzeigen, welches Pixel weiter vom Bildsensor entfernt ist als andere Pixel, ist es möglich, das Pixel aus der Tiefenkarte zu bestimmen, das am weitesten vom Bildsensor entfernt ist. Diese Verfeinerung berücksichtigt eine weitere Erkenntnis der Erfinder, nämlich dass der interessierende Bereich typischerweise der Bereich des Bildes ist, der am weitesten vom Bildsensor entfernt ist.
Nach einer weiteren beispielhaften Ausgestaltung wird im ersten Modus die Helligkeit des Bildes anhand einer ersten Vielzahl von Pixeln gesteuert, die mindestens ein erstes Pixel enthalten, das einen ähnlichen Abstand zum Bildsensor hat wie ein Pixel, das am weitesten vom Bildsensor entfernt ist.
Bei einigen beispielhaften Ausgestaltungen kann der ähnliche Abstand als mehr als 99 %, mehr als 98 %, mehr als 95 % oder mehr als 90 % der Entfernung des vom Bildsensor am weitesten entfernten Pixels angesehen werden. Bei anderen Beispielausführungen kann der ähnliche Abstand als mehr als 85 %, mehr als 75 %, mehr als 60 % oder mehr als 50 % des vom Bildsensor am weitesten entfernten Pixels angesehen werden.
Nach einer weiteren beispielhaften Ausgestaltung ist die Helligkeitssteuerung weiter ausgebildet, um in einem zweiten Modus zu arbeiten, der die Helligkeit des Bildes auf der Grundlage einer Gesamthelligkeit des Bildes steuert, die mindestens ein zweites Pixel der Vielzahl von Pixeln enthält, die sich von dem mindestens einen ersten Pixel unterscheidet.
Diese Verfeinerung erlaubt es, die Steuerung der Helligkeit so zu verändern, dass auch andere Pixel von der Helligkeitsregelung berücksichtigt werden. Bei einigen beispielhaften Ausgestaltungen besteht das mindestens eine zweite Pixel aus einer zweiten Vielzahl von Pixeln, die an das mindestens eine erste Pixel angrenzen oder sich in dessen Nähe befinden. Bei anderen beispielhaften Ausgestaltungen wird die Gesamthelligkeit des Bildes aus allen Bildpunkten ermittelt.
Nach einer weiteren beispielhaften Ausgestaltung weist das System eine Bildverarbeitungseinheit auf, die dafür ausgebildet ist, ein erstes Bild und ein zweites Bild vom Bildsensor zu erhalten und dafür ausgebildet ist, das zweite Bild mit mindestens einem Pixel vom ersten Bild zu überlagern, das einen größten Abstand vom Bildsensor hat.
Diese Verfeinerung erlaubt es, das erste Bild mit einem ausgewählten Teil des zweiten Bildes zu kombinieren. Bei einigen beispielhaften Ausgestaltungen wird die Helligkeit des ersten Bildes anders geregelt als die Helligkeit des zweiten Bildes. Bei bestimmten beispielhaften Ausgestaltungen erhält man das erste Bild, wenn die Helligkeitsregelung im ersten Modus arbeitet, und das zweite Bild, wenn die Helligkeitsregelung im zweiten Modus arbeitet. Eine solche Ausgestaltung erlaubt es, ein zusammengesetztes Bild zu erhalten, das das Gesamtbild mit einer Helligkeit enthält, die auf der Grundlage der Gesamthelligkeit gesteuert wird, die mit ausgewählten Pixeln überlagert ist, aus einem Bild, dessen Helligkeit auf der Grundlage des mindestens einen ersten Pixels gesteuert wurde. Dies ermöglicht es, ein Bild zu erzeugen, das eine geeignete Helligkeit hat, um Merkmale außerhalb des interessierenden Bereichs zu erkennen und auch eine geeignete Helligkeit hat, die es erlaubt, die Merkmale innerhalb des interessierenden Bereichs zu erkennen. Bei einigen beispielhaften Ausgestaltungen ist die Beleuchtung der Szenerie und/oder die Verschlusszeit bei der Aufnahme des ersten Bildes anders als bei der Aufnahme des zweiten Bildes. In Verbindung mit dieser Ausgestaltung oder einer anderen Ausgestaltung können auch Bereiche des Bildes, die sich in der Nähe des Bildsensors befinden, d.h. Pixel, die sich in Bereichen des Bildes befinden, die Bereichen der Szene entsprechen, die vom Bildsensor abgebildet werden, und die sich in der Nähe des Bildsensors befinden, mit einem konstanten Helligkeitswert versehen werden, um Flare-Effekte, d.h. Überstrahlungseffekte, auf das Bild zu vermeiden. Beispielsweise kann für die Pixel solcher Bereiche eine mittlere Helligkeit gewählt werden.
Bei einigen beispielhaften Ausgestaltungen wird das Überlagern (overlay) so ausgeführt, dass die Pixel des ersten Bildes die entsprechenden Pixel des zweiten Bildes ersetzen. Bei anderen beispielhaften Ausgestaltungen werden die Pixel des ersten Bildes mit einer gewissen Opazität oder Transparenz auf die entsprechenden Pixel des zweiten Bildes angewendet.
Die einzelnen Pixel, die aus dem ersten Bild genommen werden, um die entsprechenden Pixel im zweiten Bild zu überlagern, können auf unterschiedliche Weise bestimmt werden, um die Erwartungen des Benutzers zu erfüllen. Bei einigen beispielhaften Ausgestaltungen werden diese Pixel unter Berücksichtigung von mindestens einem der folgenden Punkte ausgewählt: a) dem mindestens einen Pixel aus dem ersten Bild mit dem mindestens einen ersten Pixel, b) dem mindestens einen Pixel aus dem ersten Bild, das dasselbe/die dieselben wie das mindestens eine erste Pixel ist/sind, c) das mindestens eine Pixel aus dem ersten Bild, das/die alle Pixel des Bildes aufweist/aufweisen, das/die eine bestimmte Helligkeitsschwelle nicht überschreitet/ überschreiten, d) das mindestens eine Pixel aus dem ersten Bild, das/die innerhalb eines vordefinierten Bereichs oder einer vordefinierten Form des Bildes liegt/liegen, und e) das mindestens eine Pixel aus dem ersten Bild, das/die innerhalb eines vorbestimmten Abstands von dem mindestens einen ersten Pixel liegt/liegen.
Für beispielhafte Ausgestaltungen kann der Bereich oder die Form vordefiniert werden, z.B. ein kreisförmiger Bereich zentriert auf dem Bild, er kann mit Parametern definiert werden, die vom Benutzer gesteuert werden können, z.B. die Position und/oder der Radius eines kreisförmigen Bereichs auf dem Bild kann vom Benutzer eingestellt werden, oder er kann interaktiv vom Benutzer definiert werden, z.B. indem er den Bereich mit einem Touchscreen definiert oder mit einer Maus auf dem Bildschirm zeichnet.
Betrachtet man den größten Abstand für eine Anzahl n von Pixeln vom Bildsensor mit insgesamt m Pixeln, so kann man dies so verstehen, dass jeder der n Pixel einen größeren Abstand als jeder der anderen verbleibenden m-n Pixel im Bild hat. Nach einer beispielhaften Ausgestaltung werden alle m Pixel nach absteigender Entfernung vom Bildsensor sortiert, wobei die oberen n Pixel in dieser sortierten Liste als die n Pixel mit dem größten Abstand zum Bildsensor betrachtet werden.
Nach einer weiteren beispielhaften Ausgestaltung wird im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert, einschließlich des mindestens einen ersten Pixels, das innerhalb einer geschlossenen Grenze liegt, die die Pixel mit dem größten Abstand zum Bildsensor umschließt.
Diese Verfeinerung verwendet einen geschlossenen Bereich, auf dessen Grundlage die Helligkeit des Bildes gesteuert wird. Für einige beispielhafte Ausgestaltungen bestimmt die Helligkeitssteuerung eine Isolinie oder eine Konturlinie, die Pixel mit gleichem Abstand zum Bildsensor oder Pixel mit ähnlichem Abstand zum Bildsensor verbindet. Bei einigen Beispielausführungen werden diejenigen Pixel gewählt, die bei etwa 99 %, 98 %, 95 % oder 90 % des maximalen Abstandes zum Bildsensor liegen. Bei anderen Ausführungen werden die Pixel gewählt, die bei ca. 85 %, 75 %, 60 % oder 50 % des maximalen Abstandes zum Bildsensor liegen. Bestimmte beispielhafte Ausgestaltungen wenden auf diese Werte ein Toleranzfenster an, das 1 %, 2 %, 5 %, 10 % oder 25 % nicht überschreitet. Alle Pixel innerhalb dieser Isolinie oder Konturlinie, die die geschlossene Grenze definiert, werden zur Steuerung der Helligkeit des Bildes verwendet.
Nach einer weiteren beispielhaften Ausgestaltung wird im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert, die mindestens ein erstes Pixel enthalten, das zu einem Cluster von Pixeln gehört, die den größten Abstand zum Bildsensor haben.
Diese Verfeinerung verwendet allgemein bekannte Verfahren zur Bestimmung von Clustern, insbesondere kollektivitätsbasiertes Clustering, hierarchisches Clustering, schwerpunktbasiertes Clustering, verteilungsbasiertes Clustering, dichtebasiertes Clustering, k-means-Clustering und sitzbasiertes-(seat-based-)Clustering. Wenn der Pixelblock mit dem größten Abstand zum Sensor identifiziert wurde, werden diese Pixel aus dem Cluster zur Steuerung der Helligkeit des Bildes verwendet.
Nach einer weiteren beispielhaften Ausgestaltung wird im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert, die das mindestens eine erste Pixel enthält, wobei die erste Vielzahl von Pixeln ein voreingestelltes Perzentil von Pixeln aufweist, das am weitesten vom Bildsensor entfernt ist.
Das Perzentil wird anhand des Prozentsatzes der Pixel bestimmt, die einen bestimmten Abstand zum Bildsensor überschreiten. Das bedeutet, dass die unteren Perzentile nur die Pixel enthalten, die einen großen Abstand zum Bildsensor haben. Die Erhöhung des Perzentils beginnt die Pixel, die einen mittleren oder kleineren Abstand zum Bildsensor haben, zusätzlich einzubeziehen, und die oberen Perzentile umfassen ferner die Pixel, die sich in der Nähe des Bildsensors befinden. Schließlich enthält das hunderste Perzentil alle Pixel.
Für einige beispielhafte Ausgestaltungen kann das Perzentil, das bestimmt, welche Pixel für die Steuerung der Helligkeit berücksichtigt werden, als erstes Perzentil, zweites Perzentil, fünftes Perzentil oder zehntes Perzentil gewählt werden. Für andere beispielhaften Ausgestaltungen kann das Perzentil, das bestimmt, welche Pixel für die Steuerung der Helligkeit berücksichtigt werden, als 15. Perzentil, 25. Perzentil, 40. Perzentil oder 50. Perzentil gewählt werden. Bei bestimmten beispielhaften Ausgestaltungen werden keine Pixel über dem angegebenen Perzentil für die Steuerung der Helligkeit berücksichtigt. Bei einigen beispielhaften Ausgestaltungen werden alle Pixel dieses voreingestellten Perzentils für die Steuerung der Helligkeit berücksichtigt.
Nach einer weiteren beispielhaften Ausgestaltung wird im ersten Modus die Helligkeit des Bildes auf Basis einer ersten Vielzahl von Pixeln gesteuert, die das mindestens eine erste Pixel enthält, wobei die erste Vielzahl von Pixeln Pixel aufweist, die einen Abstand d vom Bildsensor haben, wobei d > dmin + f * (dmax - dmin), wobei dmin den minimalen Abstand vom Bildsensor aller Pixel bezeichnet, dmax den maximalen Abstand vom Bildsensor aller Pixel bezeichnet und f einen Faktor zwischen 0 und 1 bezeichnet.
In dieser Verfeinerung kann der Faktor f ein voreingestellter Wert sein. Für einige beispielhafte Ausgestaltungen wird der Faktor als 0,99, 0,98, 0,95 oder 0,9 gewählt. Für bestimmte beispielhafte Ausgestaltungen wird der Faktor als 0,85, 0,75, 0,6 oder 0,5 gewählt. Für andere beispielhafte Ausgestaltungen kann der Faktor vom Anwender aus einer Reihe von voreingestellten Faktoren ausgewählt werden. Für weitere beispielhafte Ausgestaltungen kann der Anwender den Faktor als Zahlenwert eingeben und/oder den Wert über eine Benutzersteuerung ändern. Für einige beispielhafte Ausgestaltungen werden keine Pixel verwendet, die einen Abstand kleiner als d haben. Für bestimmte beispielhafte Ausgestaltungen werden alle Pixel, die diese Ungleichheit erfüllen, zur Steuerung der Helligkeit des Bildes verwendet.
Nach einer weiteren beispielhaften Ausgestaltung weist das medizinische System ferner ein Display auf, das zur Anzeige des Bildes ausgebildet ist, und Bedienelemente, die dem Benutzer erlauben, eine geschlossene Kontur auf dem Bild zu definieren, wobei die Helligkeitssteuerung ferner ausgebildet ist, um die Helligkeit des Bildes basierend auf inneren Pixeln, die von der Kontur eingeschlossen sind, zu steuern.
Diese Ausgestaltung, die es erlaubt, den Tiefenkartensensor wegzulassen, gibt dem Benutzer die direkte Kontrolle über den Bereich des Bildes, auf dessen Grundlage die Helligkeitssteuerung die Helligkeit des Bildes steuern soll.
Gemäß einem zweiten Aspekt der Offenbarung ist ein Verfahren zur Steuerung der Helligkeit eines Bildes vorgesehen, wobei das Verfahren die folgenden Schritte aufweist: Erzeugen eines Bildes eines interessierenden Bereichs unter Verwendung eines Bildsensors, wobei das Bild eine Vielzahl von Pixeln aufweist, die auf optischer Strahlung aus der interessierenden Region basieren, die den Bildsensor erreicht, Erzeugen einer Tiefenkarte eines interessierenden Feldes unter Verwendung eines Tiefenkartensensors, wobei das interessierende Feld den interessierenden Bereich zumindest teilweise überlappt und die Tiefenkarte Informationen aufweist, die es ermöglichen, mindestens ein erstes Pixel der Vielzahl von Pixeln zu identifizieren, das weiter von dem Bildsensor entfernt ist als mindestens ein zweites Pixel der Vielzahl von Pixeln, und die Helligkeit des Bildes in einem ersten Modus unter Verwendung einer Helligkeitssteuerung auf der Grundlage des mindestens einen ersten Pixels zu steuern.
Implementierungen der Offenlegung können auch als Software oder Firmware ausgeführt, in einem geeigneten Medium gespeichert und zur Durchführung verschiedener Versionen der hier beschriebenen Verfahren ausführbar sein. Diese und andere Merkmale der Offenlegung ergeben sich aus der nachfolgenden Beschreibung beispielhafter Ausgestaltungen, die zusammen mit den dazugehörigen Zeichnungen betrachtet werden.
Figurenliste

1 zeigt eine beispielhafte Ausführungsform eines medizinischen Systems gemäß der vorliegenden Offenlegung.
2 zeigt ein beispielhaftes Bild, das vom Bildsensor erzeugt wird.
3 zeigt eine weitere beispielhafte Ausführungsform eines medizinischen bildgebenden Systems.
4 zeigt eine Überlagerung von Bildern, die mit wechselnden Belichtungs- oder Helligkeitseinstellungen erzeugt werden.
5 zeigt beispielhaft ein Verfahren zur Steuerung der Helligkeit eines Bildes.

Detaillierte Beschreibung der beispielhaften Ausführungsformen
1 zeigt eine beispielhafte Ausgestaltung eines medizinischen bildgebenden Systems 10 mit einem Videoendoskop 12. Das medizinische bildgebende System 10 besteht weiterhin aus einem Bildsensor 14 in Kombination mit einem Tiefenkartensensor 16. Das System besteht weiterhin aus einem Helligkeitsregler 18 und einem Display 20.
Der Bildsensor 14 hat ein Sichtfeld 22. Die visuelle Information im Sichtfeld wird durch die optische Strahlung der betrachteten Szene bereitgestellt und vom Bildsensor 14 empfangen. Der Bildsensor 14 erzeugt ein Bild 40 (siehe 2), das aus mehreren Pixeln 42 besteht (siehe 2). Die Pixel 42 werden nur symbolisiert und bedecken den Bildsensor.
Wie in 1 dargestellt, ist das Sichtfeld 22 auf eine Öffnung im Schädelknochen 24 und die Dura Mater 26 in einem Schädel 28 gerichtet. Die Öffnung führt zu einer Operationsstelle mit einem bösartigen Tumor 30.
Ausgehend von der Mittelachse 32 des Sichtfeldes 22 wird das Sichtfeld 22 durch einen ersten Radius begrenzt, der durch die Referenznummer 34 gekennzeichnet ist. Die Öffnung durch den Schädelknochen 24 hat einen zweiten Radius, der durch die Kennziffer 36 gekennzeichnet ist. Die Öffnung durch die Dura Mater hat einen dritten Radius, der durch die Kennziffer 38 gekennzeichnet ist.
2 zeigt eine beispielhafte Ausführungsform eines vom Bildsensor 14 erzeugten Bildes 40. Das Bild 40 besteht aus einer Vielzahl von Pixeln 42, von denen einige durch kleine Quadrate veranschaulicht werden. 2 zeigt auch den ersten Radius 34, den zweiten ra-dius 36 und den dritten Radius 38, wobei zu beachten ist, dass die vorliegende Offenlegung nicht auf Kreisformen beruht. Alle anderen Formen, einschließlich rechteckiger Formen oder Polygonformen, erlauben es auch, nach der vorliegenden Offenbarung zu üben.
Der Bereich des Bildes 40, an dem der Benutzer interessiert ist, liegt innerhalb des dritten Radius 38 und wird als interessierender Bereich 44 (region of interest, ROI) bezeichnet.
Der Tiefenkartensensor 16 erzeugt eine Tiefenkarte eines interessierenden Felds 46, das durch die gestrichelte Linie angezeigt wird. Der Tiefenkartensensor 16 erzeugt Tiefeninformationen für jedes Pixel 42 innerhalb des interessierenden Feldes 46. Für andere beispielhaften Ausgestaltungen liefert der Tiefenkartensensor 16 Tiefeninformationen nur für eine Teilmenge von Pixel 42 im Interessengebiet 46.
1 zeigt auch ein Beispiel für dmin, den Mindestabstand aller Pixel zum Bildsensor, und dmax, den maximalen Abstand aller Pixel zum Bildsensor. Wie oben erläutert, ist die Terminologie „ein Pixel in einem Abstand vom Bildsensor“ eine Kurzform, um zu sagen, dass sich ein Bereich einer Szenerie, der optische Strahlung aussendet, die vom Bildsensor 14 empfangen und dann durch ein Pixel 42 im Bild repräsentiert wird, in einem Abstand vom Bildsensor 14 befindet.
2 zeigt ein beispielhaftes Bild 40, das vom Bildsensor 14 erzeugt wird, einschließlich zweier Beispiele von Bereichen, die normalerweise zu einer sehr starken Reflexion führen und andere Bereiche des Bildes 40 sehr dunkel erscheinen lassen. Ein Beispiel ist der erste Bereich 48, der auf eine Reflexion des Schädelknochens 24 zurückzuführen ist. Ein weiteres Beispiel ist der zweite Bereich 50, der eine Reflexion durch die Dura Mater 26 ist. Da im ersten Modus die entsprechenden Pixel 42 nicht weit vom Bildsensor 14 entfernt sind, werden sie bei der Steuerung der Helligkeit des Bildes 40 nicht berücksichtigt.
3 zeigt eine weitere beispielhafte Ausführung eines medizinischen bildgebenden Systems 10 neben der in 1 gezeigten Anordnung, eine Kamerasteuereinheit 60 bestehend aus der Helligkeitssteuerung 18, einer Bildverarbeitungseinheit 62, einer Lichtquellen-Steuereinheit 64 und einer Mensch-Maschine-Schnittstelle 66 (man machine interface, MMI), die es dem Anwender ermöglicht, das medizinische bildgebende System 10 zu steuern. Weiterhin wird das Videoendoskop 12 von einer Halterung 68 gehalten.
4 zeigt eine beispielhafte Funktionalität der Bildverarbeitungseinheit 66. Das medizinische bildgebende System 10 nimmt beispielhaft erste Bilder mit einer Helligkeit in einem ersten Modus und zweite Bilder 72 in einem zweiten Modus auf. Bei einigen Ausgestaltungen ist die Belichtungszeit der zweiten Bilder 72 kürzer als bei den ersten Bildern 70. Die Bildverarbeitungseinheit 66 überlagert ein zweites Bild 72 mit Pixeln aus einem vorherigen oder nachfolgenden ersten Bild 70, um ein zusammengesetztes Bild 74 zu erhalten, das dann auf dem Display 20 angezeigt wird.
5 zeigt eine beispielhafte Ausführungsform eines Verfahrens. Zunächst wird ein Bild 40 vom Bildsensor 14 angezeigt. In einem weiteren Schritt wird der interessierende Bereich definiert, entweder manuell durch den Anwender oder automatisch auf Basis der Informationen des Tiefenkartensensors 16. Ein erstes Bild 70 wird mit der Helligkeitssteuerung in einem ersten Modus und ein zweites Bild 72 mit der Helligkeitssteuerung 18 in einem zweiten Modus erzeugt. In dieser beispielhaften Ausführungsform stellen die schattierten Flächen die Teile des Gesamtbildes dar, die zur Steuerung der Helligkeit herangezogen werden. Wie man sehen kann, werden bei dieser beispielhaften Ausführungsformdiejenigen Pixel 42, auf deren Grundlage die Helligkeit im ersten Modus gesteuert wurde, bei der Steuerung der Helligkeit im zweiten Modus ausgeschlossen. In einem letzten Schritt wird das zweite Bild 72 mit den Pixeln aus dem ersten Bild 70 überlagert, die Elemente der gewünschten Region sind.
Die hier verwendeten Begriffe „umfassend“, „einschließend“, „tragend“, „habend“, „enthaltend“, „involvierend“ und dergleichen sind als nicht-beschränkend zu verstehen, d.h. als einschließend, aber nicht beschränkt auf. Die Verwendung von Ordinalbegriffen wie „erste“, „zweite“, „dritte“ usw. in den Ansprüchen auf Änderung eines Anspruchselements bedeutet für sich genommen keine Priorität, Vorrang oder Reihenfolge eines Anspruchselements gegenüber einem anderen oder die zeitliche Reihenfolge, in der Handlungen eines Verfahrens ausgeführt werden. Vielmehr werden solche Ordnungsbegriffe, sofern nicht ausdrücklich anders angegeben, lediglich als Bezeichnungen verwendet, um ein Anspruchselement mit einem bestimmten Namen von einem anderen Element mit demselben Namen zu unterscheiden (aber für die Verwendung des Ordnungsbegriffs).
Das Vorstehende hat die Merkmale und technischen Vorteile der Erfindung eher breit gefasst, damit die nachfolgende detaillierte Beschreibung der Erfindung besser verstanden werden kann. Es sollte von den Fachleuten verstanden werden, dass die aufgezeigte Konzeption und die spezifische Ausführungsformen leicht als Grundlage für die Änderung oder Gestaltung anderer Strukturen zur Durchführung der gleichen Zwecke der Erfindung verwendet werden können. Es sollte auch von den Fachleuten erkannt werden, dass solche gleichwertigen Aufbauten nicht vom Anwendungsbereich der Erfindung abweichen, wie er in den beigefügten Ansprüchen dargelegt ist.
Obwohl die Erfindung und ihre Vorteile ausführlich beschrieben wurden, sollte man sich darüber im Klaren sein, dass verschiedene Änderungen, Substitutionen und Änderungen hierin vorgenommen werden können, ohne von der Lehre und dem Umfang der Erfindung, wie sie durch die beigefügten Ansprüche definiert sind, abzuweichen. Die hier beschriebenen Merkmalskombinationen sind nicht als einschränkend zu interpretieren, und die hierin enthaltenen Merkmale können in jeder funktionstüchtigen Kombination oder Unterkombination gemäß der Erfindung verwendet werden. Diese Beschreibung ist daher so auszulegen, dass sie nach dem US-Patentrecht und allen einschlägigen ausländischen Patentgesetzen, eine schriftliche Offenbarung für eine beliebige funktionstüchtige Kombination oder eine Teilkombination der hierin enthaltenen Merkmale bietet.
Darüber hinaus ist der Geltungsbereich der vorliegenden Anmeldung nicht auf die in der Beschreibung beschriebenen besonderen Ausführungsformen des Verfahrens, der Maschine, der Herstellung, der Zusammensetzung der Materie, der Mittel, der Verfahren und der Schritte beschränkt. Der Fachmann wird aus der Offenbarung der Erfindung, Prozesse, Maschinen, Herstellung, Zusammensetzung der Materie, Mittel, Verfahren oder Schritte erkennen, die gegenwärtig oder später entwickelt werden, die im Wesentlichen die gleiche Funktion erfüllen oder im Wesentlichen das gleiche Ergebnis erzielen, wie die entsprechenden hier beschriebenen Ausführungsformen gemäß der Erfindung verwendet werden können. Dementsprechend sollen die angefügten Ansprüche solche Verfahren, Maschinen, Herstellungsverfahren, Stoffzusammensetzungen, Mittel, Verfahren oder Schritte in ihren Anwendungsbereich einbeziehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2256688 B1 [0004]

Claims

Medizinisches bildgebendes System mit - einem Bildsensor, der dafür ausgebildet ist, ein Bild von mindestens einem interessierenden Bereich zu erzeugen, wobei das Bild eine Vielzahl von Pixeln aufweist, die auf optischer Strahlung aus dem interessierenden Bereich basieren, die den Bildsensor erreicht; - einem Tiefenkartensensor, der ausgebildet ist, um eine Tiefenkarte eines interessierenden Felds zu erzeugen, wobei das interessierende Feld den interessierenden Bereich zumindest teilweise überlappt und die Tiefenkarte Informationen aufweist, die es ermöglichen, mindestens ein erstes Pixel der Vielzahl von Pixeln zu identifizieren, das weiter von dem Bildsensor entfernt ist als mindestens ein zweites Pixel der Vielzahl von Pixeln, und - einer Helligkeitssteuerung, die ausgebildet ist, um in einem ersten Modus zu arbeiten, der die Helligkeit des Bildes auf der Grundlage des mindestens einen ersten Pixels steuert.
Medizinisches bildgebendes System nach Anspruch 1, wobei das mindestens eine erste Pixel am weitesten vom Bildsensor entfernt ist.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert wird, einschließlich des mindestens einen ersten Pixels, die einen ähnlichen Abstand zum Bildsensor haben wie ein Pixel, das am weitesten vom Bildsensor entfernt ist.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei die Helligkeitssteuerung ferner ausgebildet ist, um in einem zweiten Modus zu arbeiten, der die Helligkeit des Bildes auf der Grundlage einer Gesamthelligkeit des Bildes steuert, die mindestens ein zweites Pixel der Vielzahl von Pixeln aufweist, die sich von dem mindestens einen ersten Pixel unterscheiden.
Medizinisches Bildverarbeitungssystem nach einem der vorhergehenden Ansprüche, ferner mit einer Bildverarbeitungseinheit, die dafür ausgebildet ist, ein erstes Bild und ein zweites Bild von dem Bildsensor zu erhalten und dafür ausgebildet ist, das zweite Bild mit mindestens einem Pixel von dem ersten Bild mit einem größten Abstand von dem Bildsensor zu überlagern.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert wird, einschließlich des mindestens einen ersten Pixels, die innerhalb einer geschlossenen Grenze liegen, die das Pixel mit einem größten Abstand vom Bildsensor umschließt.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert wird, einschließlich des mindestens einen ersten Pixels, das ein Element eines Clusters von Pixeln mit einem größten Abstand vom Bildsensor sind.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert wird, die das mindestens eine erste Pixel enthält, wobei die erste Vielzahl von Pixeln ein voreingestelltes Perzentil von Pixeln aufweist, die am weitesten von dem Bildsensor entfernt ist.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, wobei im ersten Modus die Helligkeit des Bildes auf der Grundlage einer ersten Vielzahl von Pixeln gesteuert wird, die das mindestens eine erste Pixel enthalten, wobei die erste Vielzahl von Pixeln Pixel aufweist, die einen Abstand d vom Bildsensor haben, wobei d > dmin + f * (dmax - dmin), wobei dmin den minimalen Abstand vom Bildsensor aller Pixel bezeichnet, dmax den maximalen Abstand vom Bildsensor aller Pixel bezeichnet und f einen Faktor zwischen 0 und 1 bezeichnet.
Medizinisches bildgebendes System nach einem der vorhergehenden Ansprüche, ferner mit einem Display, das zur Anzeige des Bildes ausgebildet ist, und Benutzersteuerungen, die es dem Benutzer ermöglichen, eine geschlossene Kontur auf dem Bild zu definieren, wobei die Helligkeitssteuerung ferner dafür ausgebildet ist, die Helligkeit des Bildes auf der Grundlage von inneren Pixeln zu steuern, die von der Kontur eingeschlossen sind.
Verfahren zur Steuerung der Helligkeit eines Bildes, wobei das Verfahren die folgenden Schritte aufweist: - Erzeugen eines Bildes eines interessierenden Bereichs unter Verwendung eines Bildsensors, wobei das Bild eine Vielzahl von Pixeln aufweist, die auf optischer Strahlung aus dem interessierenden Bereich, der den Bildsensor erreicht, basieren, - Erzeugen einer Tiefenkarte eines interessierenden Felds unter Verwendung eines Tiefenkartensensors, wobei das interessierende Feld den interessierenden Bereich zumindest teilweise überlappt und die Tiefenkarte Informationen aufweist, die es ermöglichen, mindestens ein erstes Pixel der Vielzahl von Pixeln zu identifizieren, das weiter vom Bildsensor entfernt ist als mindestens ein zweites Pixel der Vielzahl von Pixeln, und - die Helligkeit des Bildes in einem ersten Modus mit Hilfe eines Helligkeitsreglers auf der Grundlage des mindestens einen ersten Pixels zu steuern.